vLLM Semantic Router 与 KR Labs 发布 Vela 2.0,支持 span 级路由决策
vLLM 联合 KR Labs 出的 Vela 2.0,一次调用就能做安全检查、领域分类和 PII 识别,四个尺寸可选,Apache-2.0 开源。
vLLM Semantic Router 与 KR Labs 联合发布 Vela 2.0,可在一次调用中完成安全检查、领域分类、PII span 识别和 unsupported claims 检测等 span 级路由决策。模型提供 0.3B 到 9B 共四种规格,采用 Apache-2.0 许可证开源。该模型面向 vLLM 语义路由场景,用于对请求做细粒度分类后再分发。
Vela 2.0 brings span-level decisions to routing: safety checks, domain classification, PII spans and unsupported claims in one call. Built by vLLM Semantic Router and KR Labs. Four sizes, 0.3B to 9B. Apache-2.0.
https://t.co/xAz09dTbOb