主要来源vLLM
查看原文事件专题 ·多源确认
vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码
vLLM 项目与 NVIDIA 合作，将 Kimi K3 的解码阶段在 NVIDIA GB300 NVL72 上做到 batch 1 时 842 tokens/s。核心是用统一的 CuTe DSL 解码路径把注意力、MoE 和通信融合在一起，在多个测试配置下解码吞吐提升 1.5–2 倍，在 SemiAnalysis AgentX 工作负载上 P90 交互性最高提升 1.8 倍。文章还公开了 kernel 实现、正确性与长上下文评测，以及跨 batch 大小、上下文长度和并行配置的基准扫描结果。
当前结论
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s，还公开了完整 kernel 实现和评测细节，做推理优化的可以细看。
11 个信源68° AI 热度最后更新 2026/10/18 01:55:20
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。