arXiv cs.AI@Guining Cao, Jiaxin Peng, Chu Zeng, Yu Zhao, Shuangyong Song, Yongxiang精选58现有强化学习方法在可验证任务中表现优异，但在开放生成任务中面临奖励模型训练成本高、输出多样性差的问题。研究者提出PPR-GDE方法，无需标量奖励，通过成对偏好奖励保留主观评价的比较结构，并引入群体级多样性奖励显式鼓励语义分散。该方法在角色扮演任务上实现了比强基线更好的对齐质量和表达多样性。实验表明，成对偏好对主观偏好对齐至关重要，而多样性指标对实现更广的语义覆盖不可或缺。论文强化学习开放生成偏好对齐多样性增强角色扮演推荐理由：做开放域文本生成（如角色扮演、创意写作）的团队，终于有了一个兼顾对齐质量和输出多样性的RL方法，不用再担心模型输出千篇一律，值得点开看实现细节。