AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：偏好学习×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月3日
10:32
10:32arXiv: DeepSeek@Ziyan Liu, Xueda Shen, Yuzhe Gu, Songyang Gao, Kuikun Liu, Guangran Cheng, Chengqi Lyu, Dahua Lin, Wenwei Zhang, Kai Chen
72°
大型推理模型（LRM）在链式思维（CoT）上通过可验证奖励强化学习（RLVR）取得了显著进展，但长CoT中固有的试错和冗余探索被强化，导致过度思考问题。现有方法主要偏向较短轨迹，但学习信号仍基于结果，无法减少长CoT中的冗余记忆。为此，研究者提出ThoughtFold框架，通过细粒度偏好学习来缓解冗余探索，实现高效推理。它采用内省策略识别正确轨迹中的冗余，生成候选子轨迹谱，并引入掩码偏好优化目标，显式惩罚冗余探索，鼓励模型直接连接关键推理段，从而折叠推理链。实验表明，ThoughtFold将DeepSeek-R1-Distill-Qwen-7B的token使用量减少约56%，同时保持最先进的准确性。
论文推理模型链式思维偏好学习效率优化DeepSeek-R1
推荐理由：ThoughtFold解决了LRM过度思考的痛点，做推理模型优化的团队可以直接参考其内省偏好学习方法，能大幅降低计算成本而不牺牲精度。
原文
5月26日
12:22
12:22arXiv cs.LG@Namrata Nadagouda, Nauman Ahad, Maegan Tucker, Mark A. Davenport
精选
该论文提出了一种名为 Info-Synth 的主动查询合成框架，用于高效学习用户偏好。传统主动学习方法依赖池评估，计算成本高，且忽略了查询反馈的可靠性差异（如相似或完全不同物品的比较会产生模糊反馈）。Info-Synth 通过连续空间中的互信息最大化目标生成最优查询，并引入置信度感知响应模型处理模糊比较。此外，论文还提出了 Pair M-dist 和 Pair Opt-dist 两种策略，用于在有限查询池中高效选择查询。实验在合成偏好学习、文本摘要和机器人控制器调优等任务中验证了该方法的有效性。
论文主动学习偏好学习查询合成互信息置信度建模
推荐理由：偏好学习是许多决策系统的核心，但标注成本高。Info-Synth 解决了传统主动学习计算昂贵和反馈不可靠的问题，做推荐系统、人机交互或机器人调优的团队可以直接参考该方法来降低数据成本。
原文