精选理由
这篇论文讲怎么在预算有限时选LLM，不是简单路由或采样，而是两者结合。用11个模型和4个基准测试，效果比现有方法好。
论文提出预算感知的测试时模型选择问题，在每次查询给定预算和不完美验证器下，分配预算在重采样（resample）和重路由（reroute）之间以最大化正确率。提出的在线Resample-or-Reroute (RoR)策略基于每单位成本的边际正确性估计。在11个开源模型的池子上，使用4个不同难度的基准进行多轮重放实验，RoR相对于单路由、单次提交路由器、预算感知Best-of-K、级联和随机分配基线实现了更优的成本-质量帕累托前沿。增益在异构性最强的基准上最大，且受验证器质量门控。
AI 翻译 · 中文
论文提出预算感知的测试时模型选择问题，在每次查询给定预算和不完美验证器下，分配预算在重采样（resample）和重路由（reroute）之间以最大化正确率。提出的在线Resample-or-Reroute (RoR)策略基于每单位成本的边际正确性估计。在11个开源模型的池子上，使用4个不同难度的基准进行多轮重放实验，RoR相对于单路由、单次提交路由器、预算感知Best-of-K、级联和随机分配基线实现了更优的成本-质量帕累托前沿。增益在异构性最强的基准上最大，且受验证器质量门控。
Routing among large language models (LLMs) trades response quality against serving cost, motivated by the reported gap between deployed routers and a per-instance oracle. Recent analysis shows that test-time resampling c…