vLLM 支持自托管开源模型作为编程助手

vLLM 推出新功能，允许用户在自己的 GPU 上运行开源模型作为编程助手。该引擎兼容 OpenAI Responses API，因此任何使用代码助手的工具都可直接指向你的服务器。支持 NVIDIA、AMD 等多种硬件。当前可部署 GLM 5.2、Kimi K2.7 Code、MiniMax M3 等模型。