Chinese contentNumerata Lupine 让 Qwen3-32B 冷启动从 37.76 秒降至 1.11 秒
做自托管推理的团队该看看这个:Numerata 把 Qwen3-32B 冷启动干到 1.1 秒,靠的是直接迁移 GPU 状态而不是重建,存储走 400 Gb/s RDMA。对比传统 vLLM 的 37 秒冷启动,scale to zero 省钱方案这下真可用了。
做自托管推理的团队该看看这个:Numerata 把 Qwen3-32B 冷启动干到 1.1 秒,靠的是直接迁移 GPU 状态而不是重建,存储走 400 Gb/s RDMA。对比传统 vLLM 的 37 秒冷启动,scale to zero 省钱方案这下真可用了。