英伟达本地AI生态再进化:新模型提速4倍、新工具降本67%,RTX 5090成“性能猛兽”

当地时间8月11日,英伟达宣布为DGX与RTX系统推出一系列重大AI更新,旨在推动本地AI智能体的发展与普及。此次发布的核心包括一款全新的开源模型、一个智能模型路由库,以及对Meta开源模型的深度优化支持,显著提升了在RTX平台上运行AI的效率与成本表现。

黄仁勋终于出招了!RTX 5090跑200 token/秒:成本大降67%

发布Nemotron 3.5 Lightning:主打高效率的开源模型

英伟达扩展了其Nemotron 3模型家族,推出Nemotron 3.5 Lightning 。这是一款拥有300亿参数的混合专家(MoE)模型,专为处理大规模、专业化的智能体任务而设计,例如代码审查、安全监控和数据处理等。

英伟达表示,与同类模型相比,该模型的token生成速度最高可提升4倍,从而使整个智能体任务的完成时间缩短约30% 。由于其采用开放的权重,开发者可以使用自己的数据对模型进行微调,以更好地适应特定的工作流程和风格偏好。该模型可在RTX PC、DGX Spark、DGX Station及Jetson等平台上本地运行,也可扩展至数据中心和云端。

推出NeMo Switchyard:优化模型选择与成本

为解决AI智能体工作流中不同任务需要调用不同模型的问题,英伟达同步推出了NeMo Switchyard,这是一个开源的模型路由库。它可以根据任务的复杂性、成本和延迟要求,为智能体工作流的每一步动态选择最合适的模型。

英伟达的内部测试显示,通过在不同模型间智能分配任务,在保持前沿模型准确性的同时,任务完成成本可降至仅单独使用Opus 4.8模型的三分之一左右(即降低了约67%)。其他合作伙伴的测试也验证了其降本效果:LangChain报告称其成本降低了74%,Ramp报告称成本降低了58%。英伟达生成式AI副总裁Kari Briski表示,Switchyard能根据智能体的当前状态动态选择模型,并将token成本也纳入决策过程。

Meta Muse Glimmer模型在RTX 5090上表现亮眼

除了自有模型,英伟达还宣布,经过深度优化的Meta开源模型Muse Glimmer(300亿参数稠密架构)在RTX 5090 GPU上推理速度可超过每秒200个token。该模型专为编码和智能体AI设计,支持长时间运行的工作流和复杂的多步任务。同时,英伟达还提到LTX 2.5开源视频模型在RTX平台上获得了2倍的性能提升和40%的显存节省。

这一系列更新表明,英伟达正致力于构建一个从模型、软件工具到硬件平台的全栈式本地AI生态系统,其竞争重点正从单纯的芯片性能转向更高效的AI工作流管理。

编辑:芯智讯-林子

留下评论