7月27日
10:58
10:58官方账号arXiv cs.LG@Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna
TRACE-ROUTER 提出任务级路由框架,将每个任务在受理时通过上下文赌博机分配一次模型,后续所有LLM调用均固定到所选后端,并使用最终奖励更新策略。在 tau2-Bench 上,该方法比延迟匹配的单个模型插值高出7-8个准确率点。在 Terminal-Bench 上,相比最强单模型基线,TRACE-ROUTER 以36%更低延迟实现7.1个准确率点提升。该框架无需显式任务复杂度估计,即可学习适应工作负载的路由策略。
推荐理由:这篇论文给出了一个很实用的思路:用任务级反馈来动态路由LLM,不用每次调用都做独立决策。在多个基准上同时提升了准确率和速度。