Routing Beyond Task Categories: 基于 LAB-Bench 的成本感知路由研究
这项研究在 LAB-Bench 上测试路由策略能否在固定推理预算内提升准确率。试点阶段,基于题目类别的路由器和增加六个结构化特征的路由器都未达到 80% 主目标,在 120 道留出题上两者都选择 Haiku 并得 71/120。冻结方案后在 144 道新题上测试:语义路由得 86/144,允许读完 Haiku 答案后再推迟(deferral)的策略得 87/144,两者均控制在每千次查询 0.678 美元预算内。相比 95% Haiku + 5% GPT 的混合基线,语义路由带来 0.66 个百分点提升,deferral 带来 1.35 个百分点,配对 95% 置信区间分别为 [-0.28, 2.25] 和 [-0.14, 3.47]。一条对 Haiku 非答案直接升级的简单规则得 92/144,但成本升至每千次 0.710 美元,超出预算。后续开发检查中 Astra 和 Gemini 各得 30/40,各路由家族最佳策略也达到该分数,但未达到 32/40 标准,原定的 120 题评估未启动。
Current read
想在有限预算里用便宜模型跑、必要时切贵模型的人应该看看这篇。它在 LAB-Bench 上实测了几种路由策略,发现语义路由和 deferral 各提 0.66 和 1.35 个百分点,但置信区间跨零,效果未必稳。写模型路由代码前值得对齐一下预期。
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.