Event ·Single source

vLLM v0.34.0 发布:10 个新模型与 KV cache 扩展机制默认开启

开源推理框架 vLLM 发布 v0.34.0 版本,包含 1,061 次提交、412 位贡献者参与,新增对 10 个模型的支持。架构方面,可扩展 KV cache 机制在此版本中默认启用,同时 Model Runner V2 成为唯一保留的 GPU 运行器,旧运行路径被移除。性能上,官方公布的基准显示 Step5 NVFP4 decode 在 4× GB200 GPU 环境下最高提速 1.95 倍。对于使用 vLLM 部署大模型推理服务的团队,升级前需查阅官方给出的升级注意事项,因为运行器架构的变化可能影响现有部署配置。

Current read

vLLM 推理引擎又更新了,这次一次加了 10 个新模型,KV cache 改成默认开启,GB200 上跑 Step5 的 decode 最快快了 1.95 倍。自己搭推理服务的兄弟建议看看升级说明,旧运行路径没了,升级前先检查配置。

2 sources71° AI heatLast updated 2026/11/18 17:15:22

Evidence

2 sources
Related source 1CoreWeave
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.