精选理由
vLLM和Hugging Face搞了个大活：Transformers v0.25.0直接兼容vLLM，450多个模型自动加速，不用自己写适配代码了，开箱即用！
vLLM与Hugging Face团队在v0.25.0中实现了Transformers建模后端与手写vLLM模型的对等性能。现在450多种Transformers架构可以直接在vLLM中以原生速度运行，完全无需移植代码。用户只需集成一次Transformers即可自动获得vLLM的融合内核、torch.compile和CUDA图优化。这一更新大幅降低了在vLLM上使用新模型的工程成本。
AI 翻译 · 中文
vLLM与Hugging Face团队在v0.25.0中实现了Transformers建模后端与手写vLLM模型的对等性能。现在450多种Transformers架构可以直接在vLLM中以原生速度运行，完全无需移植代码。用户只需集成一次Transformers即可自动获得vLLM的融合内核、torch.compile和CUDA图优化。这一更新大幅降低了在vLLM上使用新模型的工程成本。
Big news from @hmellor_ + @huggingface team🙌! In v0.25.0 the Transformers modeling backend hits parity with hand-written vLLM models. Now 450+ transformers architectures run in vLLM at native speed with zero porting. …