偏好反馈相关 AI 资讯 · AI 热点

8月3日

10:14

10:14

官方账号arXiv cs.AI@Manith Adikari, Bei Peng, Samuele Vinanzi, Angelo Cangelosi

LEMUR是一个新框架，让智能体从多个人的偏好反馈中学习多目标策略，无需预先定义奖励函数。它同时学习策略和多个目标专属的奖励模型，在训练中平衡竞争目标。在多种多目标任务基准上，LEMUR的表现优于现有基线方法。这项研究为无预设奖励的多目标决策任务提供了新方向。

论文 LEMUR 多目标强化学习偏好反馈

推荐理由：这是篇新论文，LEMUR能直接从多人偏好学多目标策略，不用设奖励函数，基准上比现有方法强。

5月25日

10:01

10:01

官方账号arXiv cs.LG@Nikola Pavlovic, Sattar Vakili, Qing Zhao

本文研究了在 episodic 核马尔可夫决策过程（MDP）中仅通过偏好反馈进行强化学习的问题。与传统的数值奖励不同，人类反馈通常以偏好形式出现（如比较两个轨迹的优劣），这更符合 RLHF 的实际场景。作者假设奖励和转移函数属于核函数空间（一种通用的理论分析模型），并设计了基于偏好的值估计和置信集方法，专门处理每轮结束时给出的二元偏好比较。理论结果表明，学习策略的遗憾值随回合数亚线性增长，即最终能收敛到最优策略。该工作为偏好反馈下的强化学习提供了严格的理论基础，尤其适用于奖励难以量化但人类容易比较的场景。

论文强化学习偏好反馈 RLHF

推荐理由：偏好反馈是 RLHF 的核心，但理论分析一直稀缺。这篇论文把核 MDP 和偏好学习结合，给出了亚线性遗憾界，做理论强化学习或 RLHF 算法设计的研究者值得细读。