20:30
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project78°
推荐理由：vLLM新版本把Model Runner V2设成了默认，推理更快更稳，还新增了流解析和推测解码，想优化部署性能的话可以关注。
PagedAttention
共 1 条相关 AI 资讯
7月12日
20:30
vLLM v0.25.0 正式发布，包含 558 次提交和 232 位贡献者。Model Runner V2 现已成为所有密集模型的默认执行路径，同时旧版 PagedAttention 实现被移除。Transformers 后端的运行速度已与原生 vLLM 持平。新增统一流解析引擎，以及支持跨异构词汇表的通用推测解码（TLI），并引入 DSpark 和 DFlash 起草器。新模型支持包括 Hy3 和 Unlimited OCR。