字节豆包推出全新稀疏模型架构：推理成本最高可降83%！

2月12日消息，字节跳动豆包大模型团队近日宣布推出全新稀疏模型架构 UltraMem，解决了 MoE 推理的高额访存问题，推理速度较 MoE 架构提升 2-6 倍，推理成本最高可降低 83%。

该研究揭示新架构的 Scaling Law，表明其不仅有出色的 Scaling 特性，性能还超越 MoE。实验显示，训练规模达 2000 万 value 的 UltraMem 模型，在同等计算资源下，能同时实现领先的推理速度和模型性能，为构建数十亿规模 value 或 expert 开辟新途径。

据悉，豆包大模型团队的这项创新成果已被机器学习和AI领域的顶级会议ICLR 2025接收，为解决大模型推理效率和扩展能力问题提供了全新思路。

大模型的推理能力对应的是端侧AI应用/工具的响应能力和速度。随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。

在Transformer架构下，模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大，推理成本会急剧增加，速度变慢。

为了解决计算问题，先前的研究者提出了MoE和PKM（Product Key Memory）方案，但它们都有各自的局限性：

MoE架构牺牲了效率：MoE架构成功将计算和参数解耦，通过稀疏激活专家的方式，在训练阶段有效减少了计算量，但在推理时，由于模型在推理时只能一个字一个字的生成，batch size（批量大小）和sequence length（序列长度）通常较小，少量的token即可激活几乎所有的专家，进而导致访存急剧上升，进而使推理延迟大幅增加。

PKM架构牺牲了效果：PKM架构通过引入“行路由”和“列路由”机制，这种方法让每个token在推理时仅仅只激活极少数的value（与提示模板中的内容相关联的数据或信息），所以推理时不会遇到访存瓶颈，但其效果很差，且扩展能力有限，难以应对更大规模的模型需求。

这些局限性使得MoE和PKM在推理效率、模型效果和扩展能力等方面的优化空间仍需进一步探索。UltraMem正是为了解决上述痛点。

据介绍，UltraMem参考了PKM的设计，但针对PKM的缺陷予以补充，以实现更高效的访存、更优质的检索，同时，降低了显存和部署成本，其优势主要在于：

降低推理成本：与传统的MoE架构相比，UltraMem在推理成本上实现了最高83%的降低，这对于大规模模型的部署和运行具有重要意义。

提升推理速度：UltraMem的推理速度相比MoE架构提升了2-6倍，这使得模型在处理大规模数据时更加高效。

保持模型效果：在降低推理成本和提升推理速度的同时，UltraMem还保持了模型的效果，确保了模型的准确性和可靠性。

豆包研究团队在151M、680M、1.6B三个不同规模的模型上进行了广泛的实验。实验结果表明，UltraMem在模型效果和推理速度方面均优于MoE和PKM架构，且在680M、1.6B上具有显著的效果优势。