偏好学习相关 AI 资讯 · AI 热点

7月3日

04:03

04:03

Stanford AI Lab@StanfordAILab

精选

斯坦福AI实验室提出Freeform Preference Learning方法，让标注者用自然语言描述轨迹的偏好轴（如速度、精度、子任务完成度），而非仅做单一整体偏好选择。该方法学习基于这些轴的奖励函数，能提取更优策略。论文arXiv:2606.32027和博客已公开。

AI模型 Freeform Preference Learning Stanford 机器人偏好学习

推荐理由：斯坦福团队发了个新方法，让标注者用自然语言描述偏好，比单一打分更精确，机器人策略能学到更多结构信息。

7月1日

10:39

10:39

官方账号arXiv cs.AI@Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

研究人员提出 Freeform Preference Learning (FPL)，让标注者通过自然语言定义速度、安全性等偏好轴，并沿各轴提供成对比较。FPL 学习语言条件奖励模型，在四个真实世界和两个模拟长程操作任务中，比稀疏奖励和二元偏好方法提升 38 个百分点。该方法无需显式子任务分割即可获得密集进度信号，且能组合未见过的行为，允许测试时无需重新训练即可引导策略偏向不同行为。论文附有博客与视频演示。

论文 FPL Freeform Preference Learning 机器人操作奖励学习偏好学习

推荐理由：想让机器人按你的偏好做事？FPL 把“快一点”“稳一点”这种主观要求变成可训练的奖励信号，效果比传统方法好 38%。

6月3日

10:32

10:32

官方一手arXiv: DeepSeek@Ziyan Liu, Xueda Shen, Yuzhe Gu, Songyang Gao, Kuikun Liu, Guangran Cheng, Chengqi Lyu, Dahua Lin, Wenwei Zhang, Kai Chen

72°

大型推理模型（LRM）在链式思维（CoT）上通过可验证奖励强化学习（RLVR）取得了显著进展，但长CoT中固有的试错和冗余探索被强化，导致过度思考问题。现有方法主要偏向较短轨迹，但学习信号仍基于结果，无法减少长CoT中的冗余记忆。为此，研究者提出ThoughtFold框架，通过细粒度偏好学习来缓解冗余探索，实现高效推理。它采用内省策略识别正确轨迹中的冗余，生成候选子轨迹谱，并引入掩码偏好优化目标，显式惩罚冗余探索，鼓励模型直接连接关键推理段，从而折叠推理链。实验表明，ThoughtFold将DeepSeek-R1-Distill-Qwen-7B的token使用量减少约56%，同时保持最先进的准确性。

论文推理模型链式思维偏好学习效率优化 DeepSeek-R1

推荐理由：ThoughtFold解决了LRM过度思考的痛点，做推理模型优化的团队可以直接参考其内省偏好学习方法，能大幅降低计算成本而不牺牲精度。

5月26日

12:22

12:22

官方账号arXiv cs.LG@Namrata Nadagouda, Nauman Ahad, Maegan Tucker, Mark A. Davenport

精选

该论文提出了一种名为 Info-Synth 的主动查询合成框架，用于高效学习用户偏好。传统主动学习方法依赖池评估，计算成本高，且忽略了查询反馈的可靠性差异（如相似或完全不同物品的比较会产生模糊反馈）。Info-Synth 通过连续空间中的互信息最大化目标生成最优查询，并引入置信度感知响应模型处理模糊比较。此外，论文还提出了 Pair M-dist 和 Pair Opt-dist 两种策略，用于在有限查询池中高效选择查询。实验在合成偏好学习、文本摘要和机器人控制器调优等任务中验证了该方法的有效性。

论文主动学习偏好学习查询合成互信息置信度建模

推荐理由：偏好学习是许多决策系统的核心，但标注成本高。Info-Synth 解决了传统主动学习计算昂贵和反馈不可靠的问题，做推荐系统、人机交互或机器人调优的团队可以直接参考该方法来降低数据成本。