DeepSeek R1 推理 AI 测试:英伟达 Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍

精选理由

英伟达新硬件 Vera Rubin NVL72 实测 DeepSeek R1,每兆瓦 Token 吞吐量比 GB200 NVL72 高 10 倍,AI 推理效率飞跃。

AI 摘要

英伟达宣布加速量产 Vera Rubin NVL72,已在 CoreWeave、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 部署。CoreWeave 于 6 月初完成首个 NVIDIA Vera Rubin NVL72 上电验证,搭建端到端机架级系统。在 DeepSeek R1 推理模型测试中,Vera Rubin NVL72 相比 NVIDIA GB200 NVL72,每兆瓦 Token 吞吐量提升 10 倍。

原文 · IT之家

IT之家 7 月 22 日消息,英伟达(NVIDIA)昨日(7 月 21 日)发布博文,宣布其 Vera Rubin 正迈步万亿级规模部署。 英伟达在博文中指出,公司正加速量产 Vera Rubin NVL72,并已在 CoreWeave、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等合作伙伴内部运行。 英伟达表示为了满足全球客户的计算需求,Vera Rubin 在 30 个国家拥有 350 多个工厂,建立了有史以来规模最大、最成熟的机架级供应链。 CoreWeave 公司昨日(7 月 21 日)发布博文,表示该公司于 6 月初完成了业界首个 NVIDIA Vera Rubin NVL72 的上电和验证工作,搭建了端到端的机架级系统,包括电源、冷却、网络和计算均已验证并运行。 IT之家翻译博文相关内容如下: DeepSeek R1 是驱动当前智能体 AI(Agentic AI)激增的推理模型之一,因此在部署 Vera Rubin NVL72 和 NVIDIA Blackwell NVL72 后,我们基于该模型做了相关测试。 在本次测试评估中,我们着重评估每兆瓦吞吐量(token throughput per megawatt)以及交互性(TPS / user,表明用户或智能体在模型处理任务时所体验到的响应速度)之间的关系。 在匹配的交互性目标下,在相同 DeepSeek R1 工作负载下,相比较 NVIDIA GB200 NVL72, Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍。

DeepSeek R1 推理 AI 测试:英伟达 Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍 · AI 热点