NVIDIA压缩MoE模型Puzzle-75B-A9B，吞吐量翻倍可保持质量

NVIDIA发布论文，将混合MoE模型Nemotron-3-Super压缩为Puzzle-75B-A9B，活跃参数降至9B。在单个8xB200节点上，交互式服务器吞吐量约为原模型2倍。在H100 GPU上，1M token并发数从1请求提升至8。在推理、编程、长上下文和智能体基准上精度保持。该方法联合优化异构MoE剪枝、活跃参数预算和Mamba剪枝，结合蒸馏、强化学习、量化与多令牌预测头。