№偏好学习·concept
偏好学习
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-02
- 累计提及
- 4
§ 01综述
偏好学习是机器学习中通过人类反馈或示例来学习偏好函数的方法，广泛应用于机器人行为优化、语言模型对齐等领域。其核心在于将人类的主观偏好转化为可优化的目标函数，使模型能遵循用户的意图或价值观。
偏好学习近期进展
1. Freeform Preference Learning：用自然语言描述偏好轴改进机器人策略
Stanford AI Lab 和 arXiv 上的工作提出了 Freeform Preference Learning，允许用户通过自然语言自由定义偏好轴（如“更平滑的运动”或“更高的能量效率”），从而实现对机器人行为的多维度偏好操控。该方法突破了传统二元或排序偏好的限制，使机器人能更灵活地适应复杂任务。原文标题 论文
2. ThoughtFold：通过内省偏好学习折叠推理链，减少冗余探索
DeepSeek 团队提出的 ThoughtFold 方法将偏好学习应用于推理过程，模型通过内省（self-reflection）学习折叠冗余的推理链，优先选择更高效的路径。这减少了大规模推理中的计算浪费，提升了复杂逻辑任务的求解效率。原文标题
3. Info-Synth：主动查询合成框架优化偏好学习
arXiv 上的 Info-Synth 框架通过主动合成查询来获取更有效的偏好反馈。该框架在偏好学习中引入信息论准则，自动生成能够最大程度减少偏好不确定性的查询，从而用更少的反馈获得更准确的对齐效果。原文标题
当前焦点与观察点
当前偏好学习的研究焦点集中在三个方向：一是如何更灵活地表示偏好（如自然语言描述），二是如何提高偏好反馈的效率（如主动查询和推理折叠），三是如何确保偏好学习在不同领域（如机器人、语言模型）的泛化能力。这些进展表明，偏好学习正从简单的二元反馈向多维度、可解释、高效率的方向演进，但其在安全性和偏见控制方面仍需进一步验证。