04:41
官方账号NVIDIA AI@NVIDIAAI
官方账号NVIDIA AI@NVIDIAAI推荐理由：Nemotron 3 的架构创新直击大模型推理效率瓶颈，做模型优化和部署的开发者值得关注其混合 Mamba 和潜在 MoE 的具体实现，可以直接参考其设计思路。
潜在 MoE
共 1 条相关 AI 资讯
6月12日
04:41
NVIDIA 发布 Nemotron 3 模型，采用混合 Mamba Transformer 架构，通过 Mamba-2 降低注意力机制开销，实现亚二次复杂度。潜在 MoE 通过降维投影减少 HBM 与 SRAM 间的数据移动，并增加专家数量以提升稀疏性效率。多 token 预测（MTP）使模型在训练时能预见未来 token，推理时可用于推测解码。模型采用新的 OpenMDW 1.1 许可证。