NVIDIA Nemotron 3 深度解析：混合 Mamba Transformer + 潜在 MoE + MTP

NVIDIA 发布 Nemotron 3 模型，采用混合 Mamba Transformer 架构，通过 Mamba-2 降低注意力机制开销，实现亚二次复杂度。潜在 MoE 通过降维投影减少 HBM 与 SRAM 间的数据移动，并增加专家数量以提升稀疏性效率。多 token 预测（MTP）使模型在训练时能预见未来 token，推理时可用于推测解码。模型采用新的 OpenMDW 1.1 许可证。