产品精选
vLLM v0.31.0 引入进程恢复功能
精选理由
vLLM 团队发布新功能，用 CRIU 技术实现进程恢复，比传统冷启动快多了。
vLLM v0.31.0 版本新增 `vllm snapshot` 功能，使用 CRIU 技术检查点和恢复 TP1 引擎，无需重新加载权重。配合 `vllm preload` 功能，可在重启后保持量化权重常驻内存。这一改进解决了冷启动问题，提高了推理引擎的恢复效率。
原文 · vLLM
Turning cold starts into process restoration.
In v0.31.0, `vllm snapshot` uses CRIU to checkpoint and restore live TP1 engines without reloading weights, paired with `vllm preload` keeping post-quantized weights resident across restarts.
https://t.co/CRjw4hprNt