Preference

general · First seen 2026-05-22 · Last seen 2026-10-30 · 114 mentions

Overview

Preference(偏好)在人工智能领域指的是对人类或系统价值取向、行为倾向的建模与对齐目标,它正从早期单一的奖励打分演化为贯穿训练、推理与部署全流程的核心变量。近期围绕它的研究不再局限于让模型"更讨人喜欢",而是延伸到机器人策略、智能体协作、长时记忆甚至网络流量识别等场景,呈现出方法多元、评测细化的态势。

Preference 近期进展

  • a16z 开源 RL 环境框架 Karotte:据 a16z 投资 Preference Model,并开源 RL 环境框架 Karotte,机构资本开始把偏好建模视为独立赛道,配套开源强化学习环境,意在降低偏好对齐实验的工程门槛。
  • 测试时训练改进个性化奖励建模:P-TTT:用测试时训练改进个性化奖励建模 提出在推理阶段继续更新奖励模型,使同一基座能适配不同用户的偏好,减少对离线标注的依赖。
  • 机器人领域的自由形式偏好学习:斯坦福团队的 Freeform Preference Learning:用自然语言描述偏好轴改进机器人策略 与其论文版本 Freeform Preference Learning 实现机器人多维度偏好操控 允许用自然语言指定"偏好轴",让策略在速度、平稳性等维度上可调,突破了单一标量奖励的表达上限。
  • 部署侧的基础设施动作:Cloudflare 推出 Cloudflare推出Bot Preference Sync,把偏好配置同步到边缘,说明 preference 概念已外溢到网络与爬虫治理层面。
  • 当前焦点与观察点

    争议集中在三处。其一,偏好从标量到多轴、从静态到测试时更新的转变,是否会让评测标准更难统一——ContextWeave:面向真实工作流的长时记忆评测基准 等基准正是试图回应这一缺口。其二,偏好优化与推理稳定性的耦合,例如 Liquid AI开源Antidoom:用FTPO减少推理模型Doom Loops 与 DrPO:一步生成模型偏好优化的新方法 分别从循环退化和一步生成切入。其三,偏好被用于多智能体联盟审计(如 数字万神殿)和失败恢复(FAR)时,如何避免把设计者的偏见包装成客观目标,仍是待解的开放问题。

    Coverage

    10 on file