Hugging Face Transformers模型可在vLLM中以原生速度推理
Hugging Face 宣布 Transformers 模型现在可以直接在 vLLM 推理引擎中运行,达到原生速度,部分场景超越手写实现。此前,新模型架构需要在 Transformers(训练/研究)和 vLLM(生产推理)中分别实现,导致重复工作与维护成本。现在,模型作者只需在 Transformers 中实现一次,即可自动兼容 vLLM 的优化栈。在 4B 到 235B 参数模型的基准测试中,包括张量并行和 MoE 设置,Transformers 后端吞吐量匹配或超过原生 vLLM。