事件专题 · 多源确认

SGLang在GB300 NVL72上创纪录，每GPU超12K tok/s

SGLang在NVIDIA GB300 NVL72平台上，针对DeepSeek V4 Pro 1.6T模型（FP4精度，8K/1K上下文）实现了每GPU超过12K tok/s的推理速度。该性能由NVIDIA Dynamo（SGLang）和MTP技术协同实现。根据SemiAnalysis InferenceX基准测试，该性能在整个交互性曲线上保持稳定。

当前结论

SGLang在GB300上跑DeepSeek V4 Pro，每GPU超1.2万token

11 个信源73° AI 热度最后更新 2026/6/13 05:11:42

证据链

主要来源LMSYS Org (SGLang)

2026/6/13 05:11:42查看原文

相关来源 1rohanpaul_ai

2026/6/13 01:55:53查看原文

相关来源 2Dylan Patel (SemiAnalysis)

2026/6/12 04:38:38查看原文

相关来源 3vLLM

2026/6/12 14:47:34查看原文

相关来源 4NVIDIA AI

2026/6/11 12:00:19查看原文

相关来源 5Tri Dao (FlashAttention)

2026/6/12 04:20:08查看原文

相关来源 6karminski-牙医 (AI工具)

2026/6/12 04:31:08查看原文

相关来源 7Sebastian Raschka

2026/6/12 04:42:40查看原文

相关来源 8Richard Socher

2026/6/11 15:30:38查看原文

相关来源 9Together AI

2026/6/11 20:04:30查看原文

相关来源 10Mira Murati (TML)

2026/6/12 04:29:07查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。

查看资讯详情