性能优于RTX 4090！摩尔线程千卡智算集群助力国产大模型训推

以大模型为代表的新一代人工智能技术是引领新一轮科技革命和产业变革的战略性技术和重要驱动力量，随着对算力需求的日益高涨，人工智能算力底座公司日益成为新一波人工智能技术浪潮重要组成部分。

2024年5月，摩尔线程与智谱AI开展了新一轮GPU 大模型适配及性能测试，包括大模型推理以及基于夸娥（KUAE）千卡智算集群的大模型预训练。测试用相关大模型来自智谱AI基座大模型及其开源版本。

测试结果表明，在推理方面，摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090，在全部测试用例中优于RTX 3090，在多batch下优于RTX 4090；在训练方面，摩尔线程夸娥千卡智算集群训练精度与A100集群误差在1%以内，夸娥千卡智算集群性能扩展系数超过90%，模型算力利用率（MFU）与A100集群相当。

智谱AI致力于打造新一代认知智能大模型，专注于做大模型的中国创新。早在2022年8月，智谱AI开源了GLM-130B模型，2023 年，智谱 AI 推出千亿基座对话模型ChatGLM，开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能，在开源社区受到广泛欢迎。从自主开发的原创GLM预训练框架搭建之初，智谱AI就十分注意算力利用率问题。通过国产算力适配，智谱AI已支持10余种国产硬件生态，努力推动建设大模型软硬件生态和与国产芯片企业的联合创新与升级。

摩尔线程出色的测试结果对于更好建设中国大模型产品技术生态具有重要意义。

▽ 技术自主新突破：摩尔线程千卡智算集群成功应用ChatGLM预训练，标志着摩尔线程全功能GPU算力底座有能力支撑行业领先的大模型全链条研发，有助于增强技术自主性，保障信息安全。大模型训练与推理将能够在全国产可控的算力底座上运行，在满足信息安全的前提下服务于千行百业，成为发展AI+新质生产力的核心力量。

▽ 助力打破算力瓶颈：Scaling laws（尺度定律）已经预示了AGI技术发展对算力日益增长的需求规律，同时也表明有限的算力供应可能成为制约大模型发展的关键瓶颈。本次测试结果显示，国产GPU算力底座有能力助力中国人工智能技术发展。摩尔线程作为国产GPU的代表，将助力提高大模型迭代速度和自研水平，助推中国大模型更好发展。

▽ 开拓创新空间：算法、算力、数据是AGI技术的核心要素，摩尔线程与智谱AI卓有成效的适配与测试合作，有利于推动实现软硬件的深度融合与协同创新，有利于助力中国大模型实现更好发展。

▽ 降低运营成本：摩尔线程凭借自研国产全功能GPU，致力于构建先进的AGI算力底座，不仅能够兼容适配全球主流AI软件生态，节约软件迁移成本，而且在单位算力总体拥有成本上拥有较为明显优势，能够有效降低大模型产品研发成本。

智谱AI硬件适配与测试负责人表示：“摩尔线程夸娥千卡智算集群在计算精度和稳定性等方面的表现令人印象深刻，智谱AI将与包括摩尔线程在内的大模型产业生态合作伙伴携手，共同推动大模型产业生态繁荣发展。”