14:21
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：Macaron 搞了个好东西：把多个 LoRA 模型挂在一个接口后，自动路由，基于 vLLM 直接上线。
MoL Harness
共 1 条相关 AI 资讯
7月23日
14:21
Macaron 团队发布了 Macaron-V1-Venti，一个基于 vLLM 的多 LoRA 路由系统。其开源组件 MoL Harness 可将多个 LoRA 专家模型统一在 OpenAI 兼容端点后，并自动路由请求。该系统利用了 vLLM 原生的 Multi-LoRA 服务。从发布首日即支持 vLLM。