vLLM v0.31.0 更新:权重常驻与引擎快照
vLLM 0.31.0 出了 preload 守护进程和 CRIU 引擎快照,重启服务不用重新加载量化权重,打算升级生产的可以先看看破坏性变更清单。
vLLM 发布 v0.31.0,Laurence Moroney 对新特性做了讲解。版本引入 `vllm preload` 守护进程,可在服务重启后保留后量化权重常驻内存。还加入实验性的 CRIU 引擎快照功能,并对升级生产环境前需检查的破坏性变更做了说明。
Great breakdown from @lmoroney on vLLM v0.31.0, walking through the new `vllm preload` daemon to keep post-quantized weights resident across restarts, experimental CRIU engine snapshots, and key breaking changes to check before upgrading production servers.
https://t.co/Q8xfFkrtER