vLLM 针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash，吞吐达 GB300 的 58 倍

vLLM 团队宣布在 NVIDIA Vera Rubin NVL72 平台上优化 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 基准上达到 1.7 million tokens/s/GPU 的吞吐和 387 tokens/s/user 的 P90 速度，为 GB300 NVL72 同一指标的 58 倍。 具体数据覆盖整条吞吐-延迟曲线：峰值吞吐 2.52 million tokens/s/GPU，是 GB300 的 2.7 倍；单并发会话（TP 模式）下可达 1,810 tokens/s。优化点在于针对新一代 NVL72 硬件的推理调度与并行策略调优，使高并发场景下单个用户的响应速度不再随吞吐提升而明显下降。 对部署方而言，这类开源推理栈针对新硬件的适配直接决定了 DeepSeek 系列模型自托管服务的单位成本，与美国主流闭源 API 服务在价格上的差距可能进一步拉开。