精选理由
Nemotron 3 的架构创新直击大模型推理效率瓶颈，做模型优化和部署的开发者值得关注其混合 Mamba 和潜在 MoE 的具体实现，可以直接参考其设计思路。
NVIDIA 发布 Nemotron 3 模型，采用混合 Mamba Transformer 架构，通过 Mamba-2 降低注意力机制开销，实现亚二次复杂度。潜在 MoE 通过降维投影减少 HBM 与 SRAM 间的数据移动，并增加专家数量以提升稀疏性效率。多 token 预测（MTP）使模型在训练时能预见未来 token，推理时可用于推测解码。模型采用新的 OpenMDW 1.1 许可证。
AI 翻译 · 中文
NVIDIA 发布 Nemotron 3 模型，采用混合 Mamba Transformer 架构，通过 Mamba-2 降低注意力机制开销，实现亚二次复杂度。潜在 MoE 通过降维投影减少 HBM 与 SRAM 间的数据移动，并增加专家数量以提升稀疏性效率。多 token 预测（MTP）使模型在训练时能预见未来 token，推理时可用于推测解码。模型采用新的 OpenMDW 1.1 许可证。
Shoutout to Caleb for putting together a great deep dive on Nemotron 3 🙌 Check it out. Caleb Eom @calebfoundry Nemotron 3 Full Breakdown With the help of Joey Conway from @NVIDIAAI getting into the specifics around why …