AITOP

偏好对齐

共 5 条相关 AI 资讯
7月9日
10:14
6月29日
10:14
6月16日
12:14
12:14官方账号arXiv cs.LG@Yonghyun Kim, Junwon Lee, Haiwen Xia, Yinghao Ma, Junghyun Koo, Koichi Saito, Yuki Mitsufuji, Chris Donahue
TuneJury 是一个面向文本到音乐生成的开放实例级成对奖励模型，基于人类偏好标签（包括竞技场投票、指标对齐偏好、众包成对比较和专家美学评分）训练。它通过简单分数阈值支持数据过滤，在保留测试对和分布外基准上表现良好，并胜过先前的基线。该模型还引入锚定校准方法，以更高的数据效率恢复一致性，并在三种下游应用（推理时最优N采样、DITTO风格潜在优化和专家迭代后训练）中持续提升奖励轴收益。TuneJury 已在 GitHub 发布。
论文TuneJury音乐生成多模态偏好对齐奖励模型
推荐理由：如果你在搞音乐生成，想用人类偏好来对齐模型，这个开源的奖励模型 TuneJury 可以让你直接拿来用，还附带了三种应用示例，比重新训一个省事多了。
原文
5月20日
16:00
16:00官方账号arXiv cs.AI@Zhefan Xu, Ghassen Jerfel, Marina Haliem, Qi Zhao, Jeonhyung Kang, Khaled S. Refaat
精选
本文提出 VL-DPO 框架，利用视觉语言模型（VLM）作为零样本推理器，自动从预训练模型的轨迹输出中生成偏好对，再通过直接偏好优化（DPO）微调运动预测模型，使其与人类驾驶偏好对齐。在 Waymo Open End-to-End Driving Dataset 上实验表明，VLM 的轨迹选择可作为人类偏好的高质量代理，最终模型在评分反馈（RFS）上提升 11.94%，平均位移误差（ADE）降低 10.01%。该方法解决了标准模仿学习难以捕捉人类驾驶偏好细微差异的问题，为自动驾驶行为决策提供了新的对齐思路。
论文自动驾驶偏好对齐视觉语言模型直接偏好优化运动预测
推荐理由：自动驾驶团队终于有了一个自动对齐人类偏好的实用方法——用 VLM 生成偏好对再微调，比手工标注高效太多，做运动预测或决策规划的开发者值得一试。
原文
5月19日
11:34
11:34官方账号arXiv cs.AI@Guining Cao, Jiaxin Peng, Chu Zeng, Yu Zhao, Shuangyong Song, Yongxiang
精选
现有强化学习方法在可验证任务中表现优异，但在开放生成任务中面临奖励模型训练成本高、输出多样性差的问题。研究者提出PPR-GDE方法，无需标量奖励，通过成对偏好奖励保留主观评价的比较结构，并引入群体级多样性奖励显式鼓励语义分散。该方法在角色扮演任务上实现了比强基线更好的对齐质量和表达多样性。实验表明，成对偏好对主观偏好对齐至关重要，而多样性指标对实现更广的语义覆盖不可或缺。
论文强化学习开放生成偏好对齐多样性增强角色扮演
推荐理由：做开放域文本生成（如角色扮演、创意写作）的团队，终于有了一个兼顾对齐质量和输出多样性的RL方法，不用再担心模型输出千篇一律，值得点开看实现细节。
原文