上下文赌博机相关 AI 资讯

7月27日

10:58

官方账号arXiv cs.LG@Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna

TRACE-ROUTER 提出任务级路由框架，将每个任务在受理时通过上下文赌博机分配一次模型，后续所有LLM调用均固定到所选后端，并使用最终奖励更新策略。在 tau2-Bench 上，该方法比延迟匹配的单个模型插值高出7-8个准确率点。在 Terminal-Bench 上，相比最强单模型基线，TRACE-ROUTER 以36%更低延迟实现7.1个准确率点提升。该框架无需显式任务复杂度估计，即可学习适应工作负载的路由策略。

AI模型 TRACE-ROUTER 路由框架智能体

推荐理由：这篇论文给出了一个很实用的思路：用任务级反馈来动态路由LLM，不用每次调用都做独立决策。在多个基准上同时提升了准确率和速度。

原文

6月9日

12:40

官方账号arXiv cs.LG@Udvas Das, Waris Radji, Debabrota Basu, Odalric-Ambrym Maillard

精选

本文提出了一种名为 Dri-MED 的算法，用于解决线性上下文随机多臂赌博机问题，其中学习者需为具有个性化偏好的用户群体提供推荐，且上下文分布随时间漂移。在实用假设下，该问题被简化为具有异方差非平稳噪声的平稳均值线性赌博机。算法还确保每次决策的平均奖励不低于基线策略，实现了与约束感知次优间隙相关的实例相关遗憾界，并具有理论保证的约束违反次数。数值实验表明，Dri-MED 显著优于忽略漂移和偏好结构的保守基线方法。

论文在线学习上下文赌博机非平稳环境

推荐理由：在线推荐系统常面临用户偏好漂移和基线约束的挑战，Dri-MED 为这类问题提供了理论扎实且效果显著的解决方案，做推荐系统或在线学习的团队值得关注其算法设计。

原文

11:41

官方账号arXiv cs.LG@Seoungbin Bae, Dabeen Lee

精选

本文针对上下文队列调度问题，提出CQB-η-2算法，将队列长度遗憾从O(T^{-1/4})提升至O(T^{-1/2})，达到理论最优。算法分为三个阶段：纯随机探索构建初始估计、η随机探索结合UCB规则维持负漂移、纯UCB决策。关键创新在于仅在截止轮前进行随机探索，之后利用已积累样本进行确定性调度。作者还证明了Ω(T^{-1/2})的极小化下界，表明该算法在T的依赖上达到最优。

论文队列调度上下文赌博机遗憾率

推荐理由：调度算法研究者可以关注这个将队列长度遗憾率提升至理论最优的成果，CQB-η-2的三阶段设计思路值得借鉴。

原文

6月3日

10:25

官方账号arXiv cs.AI@Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland

经典强化学习追求确定性策略以最大化标量奖励期望，但在语言模型微调或科学发现等现代应用中，多样性至关重要。现有方法如熵正则化或多样性奖励常需脆弱权衡，牺牲性能换取随机性。本文提出将奖励函数视为分布而非标量，通过非线性的动作集目标函数，使校准的行为多样性自然涌现，且不牺牲期望奖励。在上下文赌博机设定下，推导了原则性的梯度估计器，证明该框架泛化了策略梯度与动作集方法。实验表明，该方法为需要行为广度的复杂RL任务提供了稳健的理论替代方案。

论文强化学习多样性奖励不确定性

推荐理由：做RL研究或语言模型微调的团队，如果正为多样性-性能权衡头疼，这篇论文给出了一个理论干净的新框架——把奖励不确定性当作多样性来源，不用额外调参。值得细读。

原文