英伟达 Blackwell 优化 DeepSeek V4 推理:单 Token 成本降至 1/5,吞吐量提升 20 倍

英伟达刷新 DeepSeek V4 推理纪录:单 Token 成本降至 1/5,AI 吞吐量最高提升 20 倍

精选理由

英伟达把 DeepSeek V4 的推理成本砍到五分之一,单 GPU 吞吐量暴增 20 倍,选 Blackwell 做推理的可以闭眼冲了。

AI 摘要

英伟达在 Blackwell 平台上优化 DeepSeek V4 模型推理,单 Token 成本降至原先的五分之一。Blackwell 平台通过生产运营层、应用加速层、基础设施访问层三层优化,实现分布式服务、专家并行、NVLink 通信等技术。优化后单 GPU token 吞吐量最高提升 20 倍。英伟达将单 Token 成本列为 AI 总拥有成本的核心指标。

AI 翻译 · 中文

英伟达在 Blackwell 平台上优化 DeepSeek V4 模型推理,单 Token 成本降至原先的五分之一。Blackwell 平台通过生产运营层、应用加速层、基础设施访问层三层优化,实现分布式服务、专家并行、NVLink 通信等技术。优化后单 GPU token 吞吐量最高提升 20 倍。英伟达将单 Token 成本列为 AI 总拥有成本的核心指标。

IT之家IT之家 7 月 1 日消息,英伟达昨日(6 月 30 日)发布博文,宣布在英伟达 Blackwell 平台上,通过优化全栈推理,相比较 DeepSeek V4 模型 1 个月前上线初期, 单 Token 成本最多降至五分之一。 IT之家注:单 Token 成本(Cost Per Token)指模型生成或处理单个 token 的成本指标,常用于比较不同硬件、软件栈或部署方式的推理成本表现。 英伟达在博文中表示已将单 Token 成本列为
英伟达 Blackwell 优化 DeepSeek V4 推理:单 Token 成本降至 1/5,吞吐量提升 20 倍 · AI 热点