08:55Fireworks AI@FireworksAI_HQ精选Fireworks 宣布对 NVIDIA Nemotron 3 的强化学习微调功能上线,首批支持 Nemotron 3 Super 的 LoRA 微调。训练采用 GRPO 算法,可在一处平台完成训练和部署。计费方式改为按 GPU 小时而非按 token,解决了长多轮对话成本不可控的问题。AI产品Nemotron 3Fireworks微调RL训练GRPO6 个信源在谈推荐理由:Fireworks 刚上线了 Nemotron 3 的 RL 微调,按 GPU 小时计费不怕长对话烧钱,用 GRPO 训练一条龙搞定。原文
04:41NVIDIA AI@NVIDIAAINVIDIA 发布 Nemotron 3 模型,采用混合 Mamba Transformer 架构,通过 Mamba-2 降低注意力机制开销,实现亚二次复杂度。潜在 MoE 通过降维投影减少 HBM 与 SRAM 间的数据移动,并增加专家数量以提升稀疏性效率。多 token 预测(MTP)使模型在训练时能预见未来 token,推理时可用于推测解码。模型采用新的 OpenMDW 1.1 许可证。AI模型Nemotron 3混合 Mamba Transformer潜在 MoE多 token 预测NVIDIA10 个信源在谈推荐理由:Nemotron 3 的架构创新直击大模型推理效率瓶颈,做模型优化和部署的开发者值得关注其混合 Mamba 和潜在 MoE 的具体实现,可以直接参考其设计思路。原文