仅用了不到10%的GPU，E级超算Frontier就完成了1万亿参数大语言模型运行

1月8日消息，作为目前全球唯一一款已拥有超过E级算力的超级计算机Frontier，近期研究人员仅利用其拥有的37000个MI250X GPU当中的3072个（约8.3%）就已经成功完成了1万亿个参数的大语言模型的运行测试。

根据资料显示，在2023年11月Top500超算排名当中，安装在美国田纳西州橡树岭国家实验室 (ORNL)的Frontier以1.194 EFlop/s的HPL性能排名第一。其采用了HPE Cray EX235a 架构，结合了针对 HPC 和 AI 优化的第三代 AMD EPYC CPU（2GHz AMD EPYC 64C）和AMD Instinct MI250X GPU，目前共有8699904个CPU和GPU核心，采用Slingshot-11 网络互连。此外，Frontier还具有高达52.59 GFlops/W的额定能效，是目前世界上第二高效的超级计算机。

根据在Arxiv上提交的一份报告显示，Frontier超级计算机已经达到了通过“超参数调优”训练万亿参数的能力，树立了新的行业标杆。

Frontier 取得的新记录是实施有效策略来培训法学硕士并最有效地使用机载硬件的结果。该团队通过对220亿、1750亿、1万亿个参数的广泛测试，取得了显着的成果，这些数据是对模型训练过程进行优化和微调的结果。这一成果是通过使用多达 3000 个 AMD MI250X AI 加速器来实现的，尽管它是并不是最新的AI加速器，但仍显示出其强大功能。

对于220亿、1750亿和1万亿参数，研究团队分别实现了38.38%、36.14%和31.96%的GPU吞吐量。对于1750亿参数模型和1万亿参数模型的训练，研究团队分别在1024和3072个MI250X GPU上实现了100%的弱扩展效率。研究团队还为这两种型号实现了89%和87%的强大扩展效率。

更有趣的是，整个Frontier超级计算机容纳了37000个MI250X GPU，因此可以想象使用整个GPU池为LLM（大语言模型）提供动力时将可以支持多大模型。

值得一提的是，目前美国劳伦斯利弗莫尔国家实验室已经开始安装即将具备超过2ExaFLOPS（2百亿亿次）性能的El Capitan 超级计算机，采用了AMD最新发布的 Instinct MI300 加速处理单元和ROCm 6.0生态系统，该超级计算机预计将于2024年某个时间正式上线。

编辑：芯智讯-林子