NVIDIA 发布 Dynamo Snapshot：基于 CRIU 的 AI 推理快速启动系统

NVIDIA 推出了 Dynamo Snapshot，这是一个基于 CRIU 和 cuda-checkpoint 工具的系统，用于在 Kubernetes 上对 vLLM 推理工作节点进行快照和恢复。该系统能够显著加速 AI 推理服务的启动时间，解决冷启动延迟问题。通过保存和恢复推理工作节点的状态，Dynamo Snapshot 使得在 Kubernetes 集群中快速扩缩容成为可能，尤其适用于需要频繁调整推理资源的场景。这一工具对于部署大规模 AI 推理服务的团队来说，可以提升资源利用率和响应速度。