vLLM v0.34.0 发布:10 个新模型与 KV cache 扩展机制默认开启
vLLM 推理引擎又更新了,这次一次加了 10 个新模型,KV cache 改成默认开启,GB200 上跑 Step5 的 decode 最快快了 1.95 倍。自己搭推理服务的兄弟建议看看升级说明,旧运行路径没了,升级前先检查配置。
开源推理框架 vLLM 发布 v0.34.
0 版本,包含 1,061 次提交、412 位贡献者参与,新增对 10 个模型的支持。架构方面,可扩展 KV cache 机制在此版本中默认启用,同时 Model Runner V2 成为唯一保留的 GPU 运行器,旧运行路径被移除。
性能上,官方公布的基准显示 Step5 NVFP4 decode 在 4× GB200 GPU 环境下最高提速 1.95 倍。
对于使用 vLLM 部署大模型推理服务的团队,升级前需查阅官方给出的升级注意事项,因为运行器架构的变化可能影响现有部署配置。
vLLM v0.34.0 is live! 🚀 1,061 commits · 412 contributors 🤖 10 new models 🗄️ Extensible KV cache on by default 🏃 Model Runner V2 is now the only GPU runner ⚡ Up to 1.95× faster Step5 NVFP4 decode on 4× GB200
⚠️ Upgrade notes https://t.co/oDO3owqDZa https://t.co/1QySAluJFz
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include vLLM, GB200, KV cache, inference engines.
Source attribution: curated from vLLM (@vllm_project).