梦晨 发自 凹非寺开云(中国)Kaiyun·官方网站 - 登录入口

量子位 | 公众号 QbitAI

英伟达在开源模子上玩的很激进：

“最高效的绽放模子家眷”Nemotron 3，夹杂Mamba-Transformer MoE架构、NVFP4低精度历练全用上。

况兼绽放得很绝对：

不仅绽放模子权重，还要把超越10万亿token的历练数据、预历练和后历练软件、历练配方一起公开。

与其他开源模子比较性能有竞争力，且速率快1.5-3.3倍。

把Mamba和Transformer混着用

Nemotron 3在架构层面追求推理效果的最大化。

传统Transformer的自持重力机制需要对不停增长的KV Cache作念线性扫描，序列越长，蓄意支出越大。

英伟达的贬责决策是多数使用Mamba-2层替代自持重力层——Mamba层在生成时只需要存储固定大小的情景，不受序列长度影响。

以Nano型号为例，所有这个词模子主要由轮换堆叠的Mamba-2层和MoE层组成，自持重力层只保留了少数几个。

论文给出的层排布形状是：5个Mamba-2+MoE的相通单位，接3个相似结构的单位，再来1个包含持重力层的单位，终末是4个Mamba-2+MoE单位。

在8k输入、16k输出的典型推理场景下，Nemotron 3 Nano 30B-A3B的详细量是Qwen3-30B-A3B的3.3倍。序列越长，上风越清晰。

与此同期，模子在长坎坷文任务上的明白并莫得打扣头。

论文展示了一组RULER基准测试的终端：在100万token输入长度下，Nemotron 3 Nano基座模子拿到了68.2分，而在相似条款下历练的Nemotron 2 Nano 12B只好23.43分，出现了断崖式下落。MoE夹杂架构在长度外推上的鲁棒性清晰更好。

LatentMoE：在潜空间里作念人人路由

针对Super和Ultra这两个更大的模子，英伟达提议了LatentMoE架构，在潜在空间中进行人人蓄意。

MoE层在履行部署时会碰到两类瓶颈：

低延伸场景下，每次只处理几十到几百个token，此时从显存读取人人权重成为主要支出。

高详细场景下，一次处理数千token，此时人人间的all-to-all通讯成为瓶颈。两种情况下，支出皆与隐敝维度d线性沟通。

LatentMoE的作念法是：先把token从原始隐敝维度d投影到一个更小的潜在维度ℓ（频繁是d的四分之一），在这个低维空间里完成人人路由和蓄意，终末再投影回原始维度。

这么一来，每个人人的权重加载量和通讯量皆镌汰了d/ℓ倍。省下来的蓄意预算被用于增多人人数目和每个token激活的人人数。

尺度MoE用128个人人、激活6个；LatentMoE用512个人人、激活22个。

两者的总参数目和激活参数目险些疏导（皆是8B激活、73B总参），但LatentMoE在所有卑劣任务上皆赢得了更好的收成——MMLU-Pro从48.30进步到52.87，代码任务从51.95进步到55.14，数学任务从78.32进步到80.19。

需要持重的是，路由门控网络、分享人人蓄意以及非人人层仍然保留在原始维度，因为这些部分对瓶颈的孝顺很小。

用NVFP4历练250亿token

Super和Ultra还选用了NVFP4标准进行历练，这是英伟达在低精度历练上的又一次探索。

NVFP4是一种4位浮点标准，选用E2M1的元素标准（2位指数、1位余数），互助16元素的微块缩放和E4M3标准的块缩放因子。在GB300上，FP4的峰值详细量是FP8的3倍。

论文涌现，团队也曾用NVFP4标准褂讪历练了高达25万亿token。与BF16历练比较，Nano模子的失掉差距适度在1%以内，8B激活参数的更大模子差距进一步消弱到0.6%以内。

在MMLU、GSM8K、HumanEval等卑劣任务上，NVFP4历练的模子与BF16版块的准确率弧线险些统统重合。

不外并非所有层皆符合量化到NVFP4。团队发现Mamba输出投影层在量化后会出现高达40%的flush-to-zero表象，因此保留在MXFP8精度；QKV投影和持重力投影保留在BF16以守护少许持重力层的保真度；网络终末15%的层也保捏高精度以确保褂讪性。MTP层和潜在投影由于对推理时分影响很小，相似保留在BF16。

多环境强化学习一把训到底

Nemotron 3的后历练选用了多环境强化学习，覆盖数学推理、竞赛编程、辅导慑服、软件工程、搜索、对话、通用用具使用、长坎坷文等多种任务。

与之前分阶段历练不同才智的作念法不同，此次英伟达选用同期历练所有任务。

论文指出，这种同步历练相貌更褂讪，更阻遏易出现reward hacking，也幸免了分阶段历练常见的才智退化问题。

AIME25数学分数从80进步到90，LiveCodeBench从65进步到72，τ²-Bench用具使用从40进步到50傍边，全程呈褂讪飞腾趋势。

高效的推理详细量在这里明白了蹙迫作用。

大规模RL需要生成海量rollout样本，Nemotron 3的夹杂架构比较其他开源模子有权贵上风。

团队还选用了异步RL架构来解耦历练和推理，并哄骗多token预计加快rollout生成。历练算法方面使用GRPO互助masked importance sampling来处理历练计谋和rollout计谋之间的相反。

所有这个词后历练软件栈以Apache 2.0公约开源，包括NeMo-RL（可膨大RL历练）和NeMo-Gym（RL环境围聚）两个仓库。

此外，Nemotron 3还辅助推理时的想维预算适度。

用户不错指定想维链的最大token数，当模子达到预算时，追加一个象征即可让模子基于部分想维链生成最终恢复。

论文给出了准确率与平均生成token数之间的量度弧线，这为履行部署中的效果-精度均衡提供了细粒度适度。

论文地址：

https://arxiv.org/abs/2512.20856