Preference(偏好)在人工智能领域指的是对人类或系统价值取向、行为倾向的建模与对齐目标,它正从早期单一的奖励打分演化为贯穿训练、推理与部署全流程的核心变量。近期围绕它的研究不再局限于让模型"更讨人喜欢",而是延伸到机器人策略、智能体协作、长时记忆甚至网络流量识别等场景,呈现出方法多元、评测细化的态势。
Preference 近期进展
当前焦点与观察点
争议集中在三处。其一,偏好从标量到多轴、从静态到测试时更新的转变,是否会让评测标准更难统一——ContextWeave:面向真实工作流的长时记忆评测基准 等基准正是试图回应这一缺口。其二,偏好优化与推理稳定性的耦合,例如 Liquid AI开源Antidoom:用FTPO减少推理模型Doom Loops 与 DrPO:一步生成模型偏好优化的新方法 分别从循环退化和一步生成切入。其三,偏好被用于多智能体联盟审计(如 数字万神殿)和失败恢复(FAR)时,如何避免把设计者的偏见包装成客观目标,仍是待解的开放问题。