NVIDIA：Nemotron 3 Ultra 高效混合专家推理模型技术报告 英伟达550B大模型炼成记

NVIDIA 开发的 Nemotron 3 Ultra 模型，这是一个拥有 5500 亿总参数（其中 550 亿为活跃参数）的混合架构语言模型。该模型结合了 Mamba 与 Attention 机制，并采用混合专家（MoE）架构，旨在显著提升智能体推理效率和吞吐量。它在 20 万亿 Token 上进行了预训练，支持高达 100 万长度的上下文，并开源了包括基础版、微调版及量化版在内的多个版本。研究重点展示了其在保持领先精度的同时，通过 NVFP4 训练和多 Token 预测（MTP）等技术实现了比同类模型高出数倍的推理速度。此外，文中还详述了后训练流水线，利用多教师在线策略蒸馏（MOPD）和强化学习进一步强化其在复杂任务中的自主能力。