Preferences

general · First seen 2026-06-02 · Last seen 2026-11-18 · 49 mentions

Overview

Preferences(偏好)在 AI 技术语境下有两层常见含义:一是指移动端开发中的轻量键值对存储机制,如 HarmonyOS ArkTS 的 Preferences API,用于保存应用配置;二是大语言模型对齐研究中表示人类偏好数据的 Preferences,是 DPO 等偏好优化方法的核心输入。两条线近期的共同点在于:如何更可靠地存储与利用偏好数据。

大模型偏好对齐的近期进展

  • 2026 年 11 月,论文《When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO》提出,当奖励分数与人类偏好冲突时,DPO 训练会出现"约束漂移",作者给出对齐前的诊断方法与自适应校正方案。When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO
  • 另一篇 2026 年 11 月的实证研究《Aligning Language Models with General Preferences: An Empirical Study of Direct Nash Optimization》系统比较了直接 Nash 优化(DNO)与主流偏好优化方法,认为 Nash 型目标在处理一般性偏好时更稳健。Aligning Language Models with General Preferences: An Empirical Study of Direct Nash Optimization
  • 此前 10 月的研究《Near-Duplicate Image Selection Transfers Preferences in Vision-Language Models》指出,训练数据中近重复图像的选择会隐式向视觉语言模型传递偏好,提示数据清洗环节对偏好对齐同样关键。Near-Duplicate Image Selection Transfers Preferences in Vision-Language Models
  • 端侧开发中的 Preferences 数据存储

  • 掘金热文《ArkTS 用 Preferences 存配置:从踩坑到 singleton 封装》总结了 HarmonyOS 开发者用 Preferences 持久化配置的常见坑,并给出单例封装的实践方案。ArkTS 用 Preferences 存配置:从踩坑到 singleton 封装
  • 相关问题还包括《HarmonyOS 做桌面卡片 onAddForm 要同步返回但数据在数据库里的解法》与《ArkTS 做 5 态数据流》,反映了在卡片、状态机等场景下,轻量存储与 UI 数据流如何配合仍是社区高频讨论点。HarmonyOS 做桌面卡片 onAddForm 要同步返回但数据在数据库里的解法
  • 当前焦点与观察点

    当前关于 Preferences 的讨论集中在两个争议方向。对齐研究中,偏好数据的噪声与不一致性(分数与偏好冲突、近重复样本混入)被视为模型行为漂移的重要来源,Nash 优化、预诊断校正等新方法试图从目标函数和数据质量两端入手,但尚未形成统一范式。端侧开发中,Preferences 作为轻量存储方案在高频写入、跨线程访问与卡片同步返回等场景下的局限被反复提及,社区倾向于用单例封装和多层存储(Preferences + 数据库)组合来弥补。两条线索值得关注的是:偏好数据质量能否工程化度量,以及 HarmonyOS 生态后续版本是否会扩展 Preferences 的能力边界。

    Coverage

    8 on file