精选理由
NVIDIA把这个MoE模型压到75B，吞吐翻倍，用户延迟不变，适合降本增效。
NVIDIA发布Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体。通过Iterative Puzzle方法，总参数从120.7B降至75.3B，活跃参数从12.8B降至9.3B。在单台8xB200节点上，它实现了2.03倍于Super的总吞吐量，每用户100 tok/s。在H100上，1M-token并发从1提升到8。
AI 翻译 · 中文
NVIDIA发布Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体。通过Iterative Puzzle方法，总参数从120.7B降至75.3B，活跃参数从12.8B降至9.3B。在单台8xB200节点上，它实现了2.03倍于Super的总吞吐量，每用户100 tok/s。在H100上，1M-token并发从1提升到8。
NVIDIA has released Nemotron-Labs-3-Puzzle-75B-A9B, a compressed variant of Nemotron-3-Super. Iterative Puzzle alternates hardware-aware structural compression with short knowledge distillation recovery phases. The model…