AI模型精选73°

SGLang 联手 NVIDIA 优化 DeepSeek V4 在 Blackwell 上实现 5 倍性能提升

Glad to be featured in @nvidia's latest on inferen…

精选理由

SGLang 和 NVIDIA 联手让 DeepSeek V4 在 Blackwell 上跑得快了 5 倍,开源推理引擎的效率又上了一个台阶。

AI 摘要

LMSYS 发文感谢 NVIDIA 在其最新推理软件经济学报告中提及 SGLang。SGLang 推出针对 Blackwell 架构的 day-0 优化方案,将 DeepSeek V4 的推理性能提升最高 5 倍。该优化通过 CUDA 原生推理路径实现,显著降低了每 token 成本。NVIDIA AI 团队与 SGLang 合作的具体技术细节已在博客中公开。

AI 翻译 · 中文

LMSYS 发文感谢 NVIDIA 在其最新推理软件经济学报告中提及 SGLang。SGLang 推出针对 Blackwell 架构的 day-0 优化方案,将 DeepSeek V4 的推理性能提升最高 5 倍。该优化通过 CUDA 原生推理路径实现,显著降低了每 token 成本。NVIDIA AI 团队与 SGLang 合作的具体技术细节已在博客中公开。

LMSYS Org (SGLang)Glad to be featured in @nvidia's latest on inference software economics. The open source flywheel keeps spinning: more devs optimizing CUDA-native inference paths, lowering cost per token for everyone. SGLang is part of