#偏好对齐

研究人员发现高频令牌会稀释偏好信号，提出ADPO方法通过掩码这些令牌，在不增加计算成本的情况下提升了模型对齐效果。

这篇论文把奖励函数设计拆成三步，还有个只要 O(n log κ) 次偏好查询的算法，做 RLHF 或奖励建模的值得一读。

这篇论文给扩散模型加了个奖励寄存器，不用改生成器就能获得稠密奖励，训练比在线 RL 快 33 倍，做生成对齐的可以看看。

这篇论文把拟人对话的生成、评测和奖励对齐做成闭环，Qwen3.6-27B微调后严格准确率39%，比基线高一大截。

这篇论文教你怎么用更少的反馈数据训练扩散模型，关键是把去噪步和样本按重要性加权，实验涨了6倍效率。

这篇论文用辩论方式来搞AI对齐，比单次解释更细致，在创意任务上预测偏好更准，搞对齐研究的值得看看。

如果你在搞音乐生成，想用人类偏好来对齐模型，这个开源的奖励模型 TuneJury 可以让你直接拿来用，还附带了三种应用示例，比重新训一个省事多了。