精选理由
英伟达把大MoE模型压到9B活跃参数，吞吐量翻倍，智能体应用部署成本大幅下降，适合模型高效推理场景。
NVIDIA发布论文，将混合MoE模型Nemotron-3-Super压缩为Puzzle-75B-A9B，活跃参数降至9B。在单个8xB200节点上，交互式服务器吞吐量约为原模型2倍。在H100 GPU上，1M token并发数从1请求提升至8。在推理、编程、长上下文和智能体基准上精度保持。该方法联合优化异构MoE剪枝、活跃参数预算和Mamba剪枝，结合蒸馏、强化学习、量化与多令牌预测头。
AI 翻译 · 中文
NVIDIA发布论文，将混合MoE模型Nemotron-3-Super压缩为Puzzle-75B-A9B，活跃参数降至9B。在单个8xB200节点上，交互式服务器吞吐量约为原模型2倍。在H100 GPU上，1M token并发数从1请求提升至8。在推理、编程、长上下文和智能体基准上精度保持。该方法联合优化异构MoE剪枝、活跃参数预算和Mamba剪枝，结合蒸馏、强化学习、量化与多令牌预测头。
Banger compression paper from NVIDIA. (bookmark it) Bigger MoE models keep winning on quality, but serving them at interactive latency is still hard. NVIDIA compresses the hybrid MoE Nemotron-3-Super into Puzzle-75B-A9B …