Models76°

DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批推理结果公布

Why we picked it

vLLM 官方放出了 Vera Rubin NVL72 上跑 DeepSeek V4.1 Flash 的首批数据,同样跑 Dynamo + vLLM,单芯片吞吐比 GB300 高 63 到 93 倍。做推理部署和算力采购的工程师应该看看这组对比。

vLLM 项目发布了 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批推理测试结果,运行环境为 Dynamo + vLLM,基准来自 SemiAnalysis 的 AgentX。与 GB300 NVL72 相比,InferenceX 性能标尺显示:在每用户 400 tok/s 的速率下,单芯片总 token 吞吐量提升 63.4 倍;在 600 tok/s/用户速率下提升 93.3 倍。

Body

这套结果的关键在于软件栈配合:NVIDIA Dynamo 负责推理服务调度,vLLM 承担引擎执行,两者组合在下一代 Rubin 平台上跑出了官方宣称的对比数据。测试选择了 400 和 600 tok/s 两个用户侧速率档位,这是智能体工作负载中常用的交互速度参考点,吞吐倍数按单芯片归一化计算。

对部署方来说,这组数字来自厂商生态链(NVIDIA + vLLM 项目 + SemiAnalysis)的公开测试,可作为评估下一代 NVL72 集群用于高并发智能体推理的参考。GB300 当前仍是主流旗舰部署平台,Vera Rubin 属于尚未大规模出货的下一代硬件,实际采购决策还需等待更多第三方复现数据。

Original · vLLM

The only thing faster than GB300 Dynamo + vLLM is Vera Rubin Dynamo + vLLM 🏎️💨.

The first DeepSeek V4.1 Flash results on @NVIDIA Vera Rubin NVL72 are here, powered by Dynamo + vLLM on @SemiAnalysis_'s AgentX benchmark.

Compared with GB300 NVL72 running Dynamo + vLLM, InferenceX's perf ruler shows: • 63.4× total token throughput per chip at 400 tok/s/user • 93.3× at 600 tok/s/user

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include DeepSeek, vLLM, Vera Rubin, GB300.

Source attribution: curated from vLLM (@vllm_project).