产品精选
vLLM Semantic Router 发布 Decision 2.0
精选理由
vLLM 的语义路由更新了，0.6B 到 27B 的开源模型一次前向就能判断 64 个请求属性，Apache-2.0 直接可用。
vLLM Semantic Router 推出 Decision 2.0，支持 0.6B 到 27B 的开源模型。新版本能在一次前向传播中回答关于请求的 64 个问题。项目采用 Apache-2.0 许可证，可通过 Transformers 加载，由 Xunzhuo Liu 团队完成。
原文 · vLLM
Decision 2.0 is out for vLLM Semantic Router! Open models from 0.6B to 27B. Answer 64 questions about a request in one forward pass. Apache-2.0 licensed. Loads with Transformers. Great work by Xunzhuo Liu and the team!
https://t.co/XnOZw1xWt5