3360亿晶体管！英伟达Rubin GPU细节首曝：智能体AI能效提升10倍！

7月22日消息，在GTC 2026正式发布之后，英伟达（NVIDIA）近日首次完整公开了Rubin AI GPU架构的技术细节。作为下一代AI数据中心平台的核心计算芯片，Rubin不仅承担着接替Blackwell的使命，也将成为未来Agentic AI（智能体AI）时代的重要算力基础。

根据英伟达公布的数据，相比Blackwell架构，Rubin在单位能耗下的Agentic AI推理吞吐量提升最高可达10倍。这一性能跃升主要来自三项关键架构创新：全新增强版Tensor Core（张量核心）、新一代HBM4高带宽内存子系统、第三代Transformer Engine（Transformer引擎）。

采用双裸片设计，集成3360亿颗晶体管

Rubin GPU采用台积电（TSMC）3nm N3P制程工艺制造，由两颗达到光罩尺寸上限（Reticle Limit）的GPU裸片组成，并通过英伟达自研的NV-HBI（High-Bandwidth Interface）高速互连技术封装为一颗完整GPU。

整个Rubin GPU共集成约3360亿颗晶体管，较Blackwell GB300增加约62%，也是目前业内集成度最高的AI GPU之一。

从架构来看，每颗Rubin GPU包含：8个GPC（Graphics Processing Cluster，图形处理集群）、224个SM（Streaming Multiprocessor，流式多处理器）、896个Tensor Core（张量核心）。

按照平均计算，每个GPC约拥有28个SM和112个Tensor Core。不过从官方框图来看，Rubin实际上采用了两种不同配置的GPC，一种集成30个SM，另一种集成26个SM。

每颗裸片内部包含4个GPC，同时连接：大容量分布式L2 Cache、Gigathread Engine、4组HBM4内存控制器（每裸片4096-bit）和NVLink接口。

此外，Rubin还集成了：

PCIe Gen6控制器，用于连接主机CPU；

第六代NVLink IO，可提供最高3600GB/s GPU互连带宽；

MIG（Multi-Instance GPU）控制器，实现GPU资源切分；

NVDEC视频解码单元；

基于TEE-I/O（Trusted Execution Environment）的Confidential Computing（机密计算）能力，可保障AI工作流中数据静态、传输及运行过程中的安全。

首次采用HBM4，带宽高达22TB/s

内存子系统是Rubin最大的升级之一。Rubin首次采用HBM4高带宽内存，共配置8组12-Hi堆叠，总容量达到288GB。

具体来看，8组12-Hi HBM4，每组容量36GB，单颗DRAM容量3GB，总容量288GB，整体峰值带宽达到22TB/s，是目前英伟达最快的HBM内存方案。相比Blackwell约8TB/s带宽，Rubin实现约2.8倍提升。

与此同时，Rubin还配备升级版Tensor Memory Accelerator（TMA），进一步优化GPU内部复杂数据搬运效率。

整个数据传输体系包括：

HBM4：22TB/s

NVLink 6：GPU之间3600GB/s

NVLink-C2C：CPU-GPU之间1800GB/s

PCIe Gen6 x16：256GB/s

HBM4显著提升Token生成效率

随着大语言模型参数不断增长，模型推理越来越受到内存带宽限制。英伟达表示，目前AI推理普遍面临更长Context窗口、更大的KV Cache、更高并发Token生成。HBM4的大带宽可有效解决上述瓶颈。

具体而言，容量提升意味着，可容纳更大模型常驻显存、支持更长上下文窗口、支持更大的KV Cache、提高推理并发能力、减少KV Cache外存交换。

带宽提升则意味着，提高Token逐个生成阶段的数据供给速度、避免Tensor Core等待数据、提高GPU利用率。

此外，升级后的TMA及内存局部性优化策略，可进一步提高复杂数据布局下的有效带宽利用率。

英伟达表示，HBM4使Rubin能够支持未来多万亿参数模型、更长上下文推理以及高并发Agentic AI工作负载。

全新Tensor Memory Accelerator优化MoE模型推理

针对目前广泛应用的MoE（Mixture of Experts，混合专家）模型，Rubin进一步增强了Tensor Memory Accelerator（TMA）。

随着MoE模型专家数量不断增加，专家权重的数据定位与搬运成为新的性能瓶颈。

新版TMA通过优化描述符（Descriptor）管理机制，可更高效地定位和调度专家权重，减少数据搬运开销。

同时，Rubin新增Inline Descriptor支持，使多个Tensor共享统一描述信息，仅需在运行过程中动态修改内存地址、Stride等参数即可完成调度。

英伟达表示，这一改进可使MoE模型在专家数量进一步增加后仍保持较高扩展效率，并将更多GPU计算资源用于推理计算，从而提升整体吞吐能力。

Tensor Core吞吐翻倍，Transformer推理进一步加速

Rubin另一项核心升级来自Tensor Core。新版Tensor Core单个时钟周期可处理的数据量翻倍，其主要通过扩大Tensor计算中的K维数据处理能力实现。

以矩阵乘法（GEMM）为例：在Blackwell上需要执行4轮K循环，而Rubin仅需2轮即可完成相同计算。这不仅提升计算吞吐，也降低了Kernel调度延迟。与此同时，Rubin进一步优化了Transformer中的Attention计算流程。

据官方介绍，其采用Activation Sparsity（激活稀疏）结合Adaptive Compression（自适应压缩）技术，可将Attention Score压缩为结构化2:4稀疏格式，仅保存非零数据及对应元数据。

这样既减少Attention Score写入与存储开销，也降低后续Attention计算的数据传输量，同时保持最终输出仍为标准Dense格式，无需修改模型结构。

此外，Rubin还提升了Softmax及指数运算（Exponential）性能。

不同精度下计算能力提升如下：

FP32吞吐达到GB300水平，是GB200的2倍；

BF16/FP16吞吐相比GB200提升4倍，相比GB300提升2倍。

更低Kernel延迟，更适合Agentic AI推理

Rubin还增强了GPU内部Kernel之间的调度协同能力。传统GPU通常需要等待上一阶段Kernel全部完成后再启动下一阶段计算，而Rubin允许后续Kernel在所需输入数据准备完成后即可提前启动。

这样能够减少GPU空闲时间、提高不同Kernel执行重叠度、提升流水线利用率。英伟达认为，这对于Agentic AI推理尤为重要。

由于Agentic AI任务通常需要模型逐步生成Token，各Kernel之间存在连续依赖关系，Kernel间延迟将直接影响单用户Token生成速度（Tokens/s）。

DSX MaxLPS进一步优化AI数据中心能效

除了GPU本身，Rubin平台也针对数据中心能效进行了大量优化。

以Vera Rubin NVL72系统为例，其新增了Dynamic Power Steering（动态功率调度）和Intelligent Power Smoothing（智能功率平滑）。系统通过集成储能模块，可吸收GPU瞬时功率波动。

英伟达表示，相较上一代平台平均功耗降低约10%，50毫秒峰值功耗降低约20%。从而使整个AI服务器能够更稳定运行于最大功率区间，提高整体Token输出效率。

此外，英伟达还推出DSX OS操作系统，其中集成DSX MaxLPS，可统一管理GPU、机柜、液冷系统以及AI工作负载，实现调度、生命周期管理及健康状态自动化。

官方数据显示，在相同供电预算下，DSX MaxLPS可支持部署约40%更多GPU资源，从而进一步提升AI数据中心整体算力密度和推理吞吐能力。

小结

从3360亿颗晶体管的双裸片设计，到首次引入HBM4内存、增强版Tensor Core、第三代Transformer Engine，以及围绕MoE模型、Agentic AI推理和数据中心能效所进行的一系列架构优化，Rubin代表着英伟达AI GPU的一次全面升级。

可以看出，相较于Blackwell主要面向大模型训练和通用推理，Rubin的设计重点已经明显转向以智能体（Agentic AI）为代表的新一代AI应用场景，通过提升Token生成效率、降低推理延迟、优化内存带宽利用率及提高单位能耗算力输出，为未来更大规模、更高并发、更长上下文的大模型部署奠定硬件基础。

编辑：芯智讯-浪客剑