02:16
elvis@omarsar0
elvis@omarsar0精选
推荐理由：英伟达把大MoE模型压到9B活跃参数，吞吐量翻倍，智能体应用部署成本大幅下降，适合模型高效推理场景。
Nemotron-3-Super
共 1 条相关 AI 资讯
7月8日
02:16
NVIDIA发布论文，将混合MoE模型Nemotron-3-Super压缩为Puzzle-75B-A9B，活跃参数降至9B。在单个8xB200节点上，交互式服务器吞吐量约为原模型2倍。在H100 GPU上，1M token并发数从1请求提升至8。在推理、编程、长上下文和智能体基准上精度保持。该方法联合优化异构MoE剪枝、活跃参数预算和Mamba剪枝，结合蒸馏、强化学习、量化与多令牌预测头。