产品精选
vLLM Semantic Router 推出 Decision 2.0，单次前向回答多问题
精选理由
vLLM 的 Semantic Router 出了 Decision 2.0，一次前向就能同时答多个问题还带各选项概率，做路由和分类的可以看看。
vLLM Semantic Router 团队发布了 Decision 2.0。新机制可以在一次前向传播（single forward pass）中处理同一输入下的多个问题，并输出每个选项的概率（per-option probabilities）。该能力适用于路由（routing）和分类（classification）场景。
原文 · vLLM
Great work from the vLLM Semantic Router team on Decision 2.0. Multiple questions about one input, answered in a single forward pass with per-option probabilities. Useful for routing and classification.