精选理由
Macaron 搞了个好东西：把多个 LoRA 模型挂在一个接口后，自动路由，基于 vLLM 直接上线。
Macaron 团队发布了 Macaron-V1-Venti，一个基于 vLLM 的多 LoRA 路由系统。其开源组件 MoL Harness 可将多个 LoRA 专家模型统一在 OpenAI 兼容端点后，并自动路由请求。该系统利用了 vLLM 原生的 Multi-LoRA 服务。从发布首日即支持 vLLM。
原文 · vLLM
🎉 Congrats to the @Macaron0fficial team on the Mac…
🎉 Congrats to the @Macaron0fficial team on the Macaron-V1-Venti launch. Live on vLLM from day 0.
Their open-source MoL Harness puts many LoRA specialists behind one OpenAI-compatible endpoint and routes each request to the right one, all on vLLM's native Multi-LoRA serving. Thanks for building in the open 🙌