vLLM任意时刻都在50万张GPU上运行，却少有人知

vLLM是一个开源推理引擎，任意时刻运行在约50万张GPU上，构成开源模型生产环境的隐形基础设施。Simon Mo作为vLLM维护者和Inferact CEO，在a16z播客中讨论了开放模型的优势、发布首日模型适配的幕后冲突，以及Kimi K3实际带来的提升。他还对比了OpenRouter、Ollama等工具在ChatGPT出现前的起源，并解释了开源模型许可证正在变化的原因。访谈也涉及如何基于开源项目建立公司。