奖励学习相关 AI 资讯 · AI 热点

7月10日

09:37

09:37

官方账号arXiv cs.AI@Ali Larian, Qian Lin, Chang Zong Wu, Daniel S. Brown

该论文研究如何在多环境下学习鲁棒的奖励函数，避免逆强化学习（IRL）因单环境演示而过拟合。作者分析了不同反馈模态（如比较、演示）对奖励约束的强度，发现比较模态在无限数据下提供更强的全局约束。提出一种分层机器教学算法，先贪婪选择互补环境，再在最优环境下查询低成本反馈。在实验中，该方法在相同反馈预算下相比均匀基线显著降低了后悔值（regret），并提升了到未见过环境的泛化能力。

论文逆强化学习 IRL 机器教学奖励学习泛化

推荐理由：想解决机器人奖励函数跨环境失效的问题？这篇论文给出了数学分析和一种更聪明的教学策略，用更少反馈让奖励更鲁棒。

7月1日

10:39

10:39

官方账号arXiv cs.AI@Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

研究人员提出 Freeform Preference Learning (FPL)，让标注者通过自然语言定义速度、安全性等偏好轴，并沿各轴提供成对比较。FPL 学习语言条件奖励模型，在四个真实世界和两个模拟长程操作任务中，比稀疏奖励和二元偏好方法提升 38 个百分点。该方法无需显式子任务分割即可获得密集进度信号，且能组合未见过的行为，允许测试时无需重新训练即可引导策略偏向不同行为。论文附有博客与视频演示。

论文 FPL Freeform Preference Learning 机器人操作奖励学习偏好学习

推荐理由：想让机器人按你的偏好做事？FPL 把“快一点”“稳一点”这种主观要求变成可训练的奖励信号，效果比传统方法好 38%。