谷歌第七代TPU发布：峰值算力可达4614TFLOPs

当地时间4月9日，谷歌公司在美国举行了“Google Cloud Next 25”大会，正式发布了专为AI量身打造的第七代TPU（Tensor Processing Unit）加速器“Ironwood”，这是谷歌首款专为推理设计的TPU，可驱动思考型（thinking）和推理型（inferential）模型，单芯片峰值算力可达4,614 TFLOPs。

据介绍，Ironwood是谷歌首款在其张量核和矩阵数学单元中支持 FP8 计算的 TPU，此前谷歌的 TPU 仅支持用于推理的 INT8 格式和处理以及用于训练的 BF16 格式和处理。Ironwood 芯片还拥有第三代 SparseCore 加速器，该加速器首次在 TPU v5p 中首次亮相，并在去年的 Trillium 芯片中得到了增强。SparseCore 芯片最初旨在加速推荐模型，这些模型利用嵌入来跨用户类别进行推荐。Ironwood 芯片中的第三代 SparseCore 编码了各种算法，以加速金融和科学计算，但具体细节未透露。

Ironwood还大幅增加高频宽內存（HBM）容量，每颗芯片的HBM容量提高到了192GB，达到了Trillium的6倍，可处理更大型的模型和数据集运算，减少频繁的数据传输需求，提升整体性能。同时，HBM带宽也大幅提升，Ironwood单颗芯片的内存带宽可达7.2Tbps，是Trillium的4.5倍。如此高速的带宽可确保数据快速存取。

谷歌还强化了Ironwood芯片间互连（Inter-Chip Interconnect，ICI）带宽，双向传输提高至1.2Tbps，是Trillium的1.5倍，如此一来加速芯片间的通信，提升大型分布式训练和推理的效率。

△Ironword 封装包括计算芯片上方的中央小芯片，以及沿顶部边缘的HBM上方的另外两个小芯片。这些无疑是谷歌用于将 TPU 芯片电气连接成 pod 的芯片间互连 （ICI） 的 I/O 芯片。更大的 TPU 聚合与谷歌的“Jupiter”光电路开关进一步捆绑在一起。

总体来看，得益于计算核心、HBM等多方面的提升，Ironword单芯片峰值算力可达4,614 TFLOPs，达到了上一代 Trillium的10倍。

▲近三代谷歌TPU产品比较

在提升性能的同时，谷歌还提升了“Ironwood”能效表现。据介绍，相比 2024年推出的第六代TPU “Trillium”，Ironwood的性能功耗比达到了Trillium的2倍。Ironwood 还可结合先进的液冷解决方案和芯片设计优化，即使持续面对繁重AI工作负载，也能维持相比标准气冷高出近2倍的性能。

Ironwood 根据客户对AI工作负载的需求提供2种规模配置，分别是面向推理的256个计算引擎的版本、面向训练的9,216个计算引擎的版本。

当扩展至每个Pod达到9,216颗晶片时，总运算能力可达42.5 Exaflops，是世界上最大的超级电脑El Capitan的24倍以上，El Capitan每个Pod仅提供1.7 Exaflops。由于Ironwood提供大规模运算能力，能够支持最严苛的AI工作负载，例如用于训练和推理、具备思考能力的超大型密集LLM或MoE。

Ironwood 还配备增强版的SparseCore，这是一种专门用于处理进阶排序和推荐系统工作负载常见的超大规模嵌入加速器。此外，Google DeepMind 开发的机器学习执行阶段构架Pathways，可在多个TPU间达成高效的分布式运算。Google Cloud 上的Pathways让客户轻易超越单个Ironwood Pod的限制，将数十万颗芯片组合在一起，快速推进AI发展。

AI芯片竞争激烈之际，英伟达仍处于领先地位，除谷歌外，亚马逊和微软等科技巨头都在发展自家的解决方案，亚马逊拥有AWS Trainium / Inferentia芯片以及Graviton处理器，微软则有Maia 100、Cobalt 100芯片。现在Ironwood加入TPU阵容，有望继续强化Google Cloud服务。

编辑：芯智讯-浪客剑