Chinese contentPORT：基于 token 级重加权的噪声偏好优化框架
训练时偏好数据常有标注噪声，这套方法能在 token 级别识别并压低被污染 token 的影响，而且只加一次前向传播，训练成本几乎不变。做 RLHF 或 DPO 微调的团队可以直接用他们开源的代码试试，和序列级方法比抗噪能力更强。
#preference optimization
14 stories · 1 in 7 days · 5 in 30 days
Stories, products and papers tagged "preference optimization", newest first.
Nov 12
Nov 6
Chinese contentCoDPO：用数据集诊断指标修复 DPO 训练中的约束漂移
做偏好优化训练的可以看看：给 DPO 打了个闭式诊断指标，能提前判断冲突数据会不会让安全分、长度这些约束越训越差。
Oct 30
Chinese contentMedCBR：面向医学视觉语言模型能力边界对齐的两阶段框架
这篇论文针对医学影像诊断模型瞎猜答案的问题，用熵门控的强化学习把训练火力集中在模型最拿不准的病例上，六个基准涨到 61.2%。
Oct 27
Chinese contentSelective Tie Learning：用平局样本减少偏好优化中的伪相关
训练偏好模型总学到不该学的关联？这篇论文用平局样本解决了，还告诉你怎么挑最有用的那些，实验覆盖到大语言模型。
Oct 22
Papers09:58
Chinese contentRubricOpt：让模型在偏好优化中自我修订语义评分标准这篇论文让模型自己改训练用的评分标准，再用改好的 rubric 做 DPO。结果很诚实：有的提升有的回退，适合做偏好优化的人看看细节。
Oct 7
Chinese contentLSC-DPO：动态控制学习信号的偏好优化新方法
训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。
Sep 1
PLC-DPO Posterior Label Correction Method
PLC-DPO outperforms existing preference optimization methods, offering researchers a more robust approach for handling real-world noisy preference data.
Aug 7
Papers09:35
Chinese contentSAGA：低资源北欧语言模型的分数加权自适应生成对齐这篇论文用依赖解析器代替人工标注做偏好优化，北欧三种低资源语言上效果提升明显，做多语言模型的人可以看看。
Jul 29
Chinese contentDeepSeek V4 Flash在Fireworks上线微调功能，支持偏好优化和RL训练
Fireworks给DeepSeek V4 Flash加了全套微调，监督、偏好、RL都能用，专为编码场景设计，快去试试。
Jun 2
Chinese contentDrPO：一步生成模型偏好优化的新方法
DrPO 解决了单步生成模型偏好微调的核心痛点——无需可微奖励或复杂去噪轨迹，做文本到图像生成的团队可以直接用黑箱奖励提升模型对齐度，训练效率还提升了3倍多，值得关注。
May 21
Chinese contentLinear-DPO：统一扩散与流匹配的线性偏好优化方法
做文本到图像生成的团队终于有了更稳定的对齐方法——Linear-DPO 统一了扩散和流匹配，解决了 DPO 在生成任务中的目标不匹配问题，做图像生成微调的建议试试。
May 19
Chinese contentGPRL：通用偏好强化学习，解决多维度对齐问题
做LLM对齐和强化学习的团队终于有了一个能同时处理开放式任务和持续探索的框架——GPRL用多维偏好结构解决了奖励黑客问题，值得关注其实际效果。
May 14
Papers01:10
Chinese contentEAPO：环境自适应偏好优化提升野火预测鲁棒性做环境监测或灾害预测的团队，EAPO 解决了分布漂移下罕见事件难检测的痛点，值得在类似长尾预测任务中试试。
May 11
Papers11:43
Chinese contentGraphDPO：利用偏好图扩展语言模型对齐优化该研究从图论视角重新审视偏好对齐，解决了DPO在多响应数据上的局限性，对提升模型训练效率和稳定性具有实际指导意义。
arXiv cs.LGSource