14:21
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：Macaron 搞了个好东西：把多个 LoRA 模型挂在一个接口后，自动路由，基于 vLLM 直接上线。
多模型路由
共 2 条相关 AI 资讯
7月23日
14:21
Macaron 团队发布了 Macaron-V1-Venti，一个基于 vLLM 的多 LoRA 路由系统。其开源组件 MoL Harness 可将多个 LoRA 专家模型统一在 OpenAI 兼容端点后，并自动路由请求。该系统利用了 vLLM 原生的 Multi-LoRA 服务。从发布首日即支持 vLLM。
6月16日
16:17
16:17
官方一手pandaily@contact@pandaily.com (Pandaily)
推荐理由：中国大模型厂商正在用多模型路由和混合智能体降低AI应用成本，比单纯堆参数更实用。