DPO 相关 AI 资讯

8月20日

23:04

官方一手marktechpost@Sana Hassan

精选

本文提供使用直接偏好优化（DPO）微调语言模型的端到端工作流。教程演示了如何审计 Anthropic HH-RLHF 数据集的结构和长度偏差。它展示了如何使用 TRL 和 LoRA 实现一个稳健的训练管道。最后，文章评估了模型性能，以确保其进行真实的偏好学习，而非依赖词汇捷径。

技巧 DPO TRL LoRA

事件专题

推荐理由：这篇教程教你用 DPO、TRL 和 LoRA 来微调模型，还教你怎么检查数据里的偏见，比直接用 RLHF 更简单。

原文

8月13日

17:54

官方账号arXiv cs.LG@Aleksandra Kalisz, Jack Simons, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry Moss, Paul Duckworth

蛋白质结构预测基础模型在某些靶标上仍不可靠，外部 oracle 可纠正错误但成本高昂。一篇论文系统对比了 FK-steering、DPO、Best K-of-N 和最新提出的 O3 四种预算分配方法。在钙调蛋白（1CLL）和大肠杆菌天冬氨酸转氨甲酰酶（9EEH）两个靶标上，没有单一方法在所有预算下都占优。O3 在低预算时最有效，而 FK-steering 和 DPO 随预算增加表现更好。该研究给出了针对实际 oracle 预算约束的可操作建议。

论文蛋白质结构预测 Oracle O3

推荐理由：做蛋白质结构预测的可以看看这篇，它对比了四种 oracle 预算分配方法，告诉你低预算用 O3，高预算用 FK-steering 和 DPO，挺实用。

原文

8月11日

13:20

向阳乔木@vista8

精选

Nathan Lambert 撰写了一本专门介绍大模型 RLHF 的书籍，并配套 13 讲正课和免费 PPT。课程不要求大语言模型基础，适合初学者借助 AI 辅助学习。内容从 LLM 原理、KL 散度、交叉熵等基础讲起，涵盖 RLHF 和后训练框架、指令微调、奖励模型、拒绝采样、RLVR、DPO 等。还涉及合成数据和当前 Post Training 方法，课程和 PPT 可在评论区获取。

技巧 RLHF Nathan Lambert 后训练

推荐理由：Nathan Lambert 出书讲 RLHF，还配了 13 讲免费课和 PPT，零基础也能跟着学，想入门后训练可以看看。

原文

7月23日

11:29

官方账号arXiv cs.AI@Junyu Dai, Xinyue Fan, Weiqin Li, Xiangang Li, Yunjia Li, Bin Ma, Yukun Ma, Chongjia Ni, Yufei Shi, Haoxu Wang, Menglin Wu, Jianwei Yu, Huaicheng Zhang, Han Zhao, Shengkui Zhao, Haina Zhu

本文提出一个统一的全歌曲生成框架，支持从歌词、文本描述和音乐属性生成完整歌曲。该框架包含四个组件：语义感知分词器将音频编码为8码本RVQ令牌，hybird-LM进行层次化自回归音频令牌建模，FullDiT在连续VAE潜空间中执行流匹配渲染，两级旋律模块用于翻唱生成。在人工分析音乐带歌声排行榜上取得竞争性能，并探索了DPO、GRPO和OPD作为后训练策略。实验在多语言自动基准上进行评估。

论文 hybird-LM FullDiT 歌曲生成

推荐理由：这篇论文提出了一个能生成完整歌曲的框架，支持歌词生成、纯音乐和翻唱，还在排行榜上验证了效果，音乐生成方向的同学可以看看。

原文

7月22日

08:52

Fireworks AI@FireworksAI_HQ

精选

MiniMax M3 模型现已可在 Fireworks 上进行训练。用户可通过托管 LoRA SFT 和 DPO 进行标准微调。Fireworks 还提供 Training API，支持自定义 SFT、DPO 和 RL 训练循环，包含检查点、滚动推理和适配器热加载功能。

AI模型 MiniMax M3 Fireworks LoRA

推荐理由：想 Fine-tune MiniMax M3 的话，Fireworks 现在直接支持 LoRA 和 DPO，还能自定义 RL 训练，省事不少。

原文

7月17日

09:40

官方账号arXiv cs.AI@Dylan Van Mulders, Matthias Bogaert, Dirk Van den Poel

该论文提出一个结合Supervised Fine-Tuning (SFT)、Direct Preference Optimization (DPO)和Retrieval-Augmented Generation (RAG)的多智能体框架，用于模拟政治联盟谈判。DPO注入攻击性政党人格，RAG将每个智能体限定在官方纲领内。在2019年佛兰德选举上部署，引入Multi-Layered Information Lineage Topology (MILT)追踪协议条款来源，以及Coalition Influence Score (CIS)聚合贡献度。三次独立模拟稳定输出N-VA领先CD&V和Open Vld的排名。基于纲领的条款溯源能可靠预测现实协议中实现的项目，而虚构内容则不能。

论文 LLM智能体多智能体政治联盟

推荐理由：这篇论文用LLM智能体模拟政党结盟谈判，设计了MILT和CIS两个新指标来追踪条款来源和影响力，在比利时选举数据上验证了有效性，对政治学和AI研究都很有参考价值。

原文

6月30日

13:53

官方账号arXiv cs.AI@Subramanyam Sahoo, Aman Chadha, Vinija Jain, Divya Chaudhary

论文在Qwen3-14B策略上采用DPO，设置三个保守度β（低、中、高），并在在线适应中使用3×Qwen3-1.7B奖励集成。在GSM8K基准上测量准确率，发现更高保守度单调增加奖励黑客损伤，Goodhart gap及其曲线下面积AUGC的Spearman ρ=1.0。机制分析表明，高β DPO压缩策略熵，导致响应多样性降低，但集成分歧增加且被更快利用。论文进一步拟合幂律曲线，确定了平衡对齐保真度和漏洞的最优保守度β*。

论文 Qwen3-14B DPO GSM8K

推荐理由：这篇论文用Qwen3-14B和DPO实验证明，离线训练越保守，在线适应越容易翻车，还在GSM8K上给出了最优保守度公式。做RLHF的值得一读。

原文

6月25日

05:58

Fireworks AI@FireworksAI_HQ

Fireworks AI 宣布其平台现支持对开源编码模型 GLM 5.2 进行微调，涵盖 SFT、DPO 和 RL 三种方法。GLM 5.2 在多个编码基准上表现强势，但 Fireworks 指出排行榜赢家未必适合你的代码库，微调可缩小差距。训练后的模型可直接在同一生产栈上提供服务，无需切换或迁移。早期客户反馈热烈，目前开放私测申请。

AI产品 GLM 5.2 Fireworks SFT

推荐理由：想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

原文

6月19日

11:04

官方账号arXiv cs.LG@Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani

这篇论文提出利用用户与LLM交互时的鼠标轨迹和眼动数据作为隐式反馈来替代昂贵的显式偏好标注。他们构建了IFLLM数据集，包含59名用户的1336个多轮问答，并记录了鼠标和眼动数据。基于这些隐式反馈训练的奖励模型将文本奖励模型的准确率从55%提升到64%。对8个LLM应用DPO后，响应质量相对提升近3倍，证明了隐式反馈在真实场景中的价值。数据集和代码已开源。

论文 IFLLM LLM 隐式反馈

推荐理由：别光看用户点了什么赞，鼠标和眼睛动的方向才是真心话。这篇论文用59人的眼动和鼠标轨迹数据训练奖励模型，准确率从55%飙到64，还开源了数据集。

原文

6月3日

08:51

官方一手marktechpost@Sana Hassan

精选

本教程详细介绍了在Google Colab上使用QLoRA和DPO微调LFM2模型的完整步骤。步骤包括使用TRL库进行监督微调（SFT），然后应用DPO算法优化，最后合并适配器。教程提供了可运行的代码和详细解释，适合有基础的用户实践。所有操作在免费的Colab环境下完成。

技巧 LFM2 QLoRA DPO

推荐理由：手把手教你微调LFM2，用Colab免费跑

原文

5月28日

11:56

官方账号arXiv cs.LG@Audrey Chan, Aaron Labbé, Jacob Lavoie, Jordan Bannister, Arsène Fansi Tchango, Guillaume Lajoie, Laurent Charlin

论文推荐系统情感计算离线优化

推荐理由：做健康/情感类推荐系统的团队终于有了一个可落地的离线优化方案——用世界模型模拟用户情感反馈，避免在线实验的伦理风险，做医疗或老年人应用的开发者可以直接参考其方法论。

原文

5月22日

10:43

官方一手arXiv: DeepSeek@Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev

精选

CLORE 是一种针对大语言模型推理效率的内容级优化框架。它通过外部增强模型对正确的推理轨迹进行编辑，删除重复、不清晰或任务无关的内容，以及答案确定后的多余推理，同时保留最终答案。编辑后的轨迹与原始轨迹构成对比对，通过无参考的 DPO 目标与标准策略梯度训练联合优化。在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen2.5-Math-7B 上的数学推理基准测试中，CLORE 提升了准确率与效率的平衡，并与 GRPO、DAPO 等方法兼容。内容级分析表明，CLORE 能有效减少重复推理、不清晰内容和答案后的探索，为长度级控制提供了互补方向。

论文推理效率内容优化 DPO

推荐理由：CLORE 解决了推理模型输出冗长、重复的痛点，做推理优化或部署长链模型的团队可以直接参考其内容级编辑方法，比单纯限制长度更精细。

原文

5月21日

10:22

官方账号arXiv cs.LG@Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

精选

Linear-DPO 提出了一种新的直接偏好优化（DPO）方法，解决了现有 DPO 在文本到图像生成中的两大问题：仅适用于扩散模型而忽略流匹配，以及离散 NLP 的 DPO 目标与回归生成任务不匹配。论文通过统一的逆向 SDE 框架推导出覆盖扩散和流匹配的广义 DPO 目标，并从梯度角度指出标准 DPO 目标次优。Linear-DPO 用持续线性效用函数替代激进的 sigmoid 函数，并引入 EMA 更新的参考模型。在扩散模型（SD1.5、SDXL）和流匹配模型（SD3-Medium）上的实验表明，该方法优于现有基线。

论文 DPO 扩散模型流匹配

推荐理由：做文本到图像生成的团队终于有了更稳定的对齐方法——Linear-DPO 统一了扩散和流匹配，解决了 DPO 在生成任务中的目标不匹配问题，做图像生成微调的建议试试。

原文

5月16日

21:49

向阳乔木@vista8

本文用简洁的图示对比了三种主流大语言模型后训练技术：SFT（监督微调）让模型学会遵循指令；DPO（直接偏好优化）使输出更符合人类偏好；GRPO（群体相对策略优化）进一步激发模型的推理和思考能力。三者在训练目标和方法上层层递进，是当前LLM对齐和增强推理能力的关键技术路径。对于想了解模型训练流程或优化模型输出的开发者，这是一份直观的入门参考。

AI模型 LLM 后训练 SFT

推荐理由：想搞懂LLM后训练技术栈的开发者，这张图帮你三分钟理清SFT、DPO、GRPO的关系和演进逻辑，建议收藏。

原文

5月11日

11:43

11:43官方账号arXiv cs.LG（学术论文）

本文提出GraphDPO，一种基于有向无环偏好图的直接偏好优化方法，用于语言模型对齐。传统DPO仅利用成对比较，忽略了多轮生成数据中的传递性和结构信息，导致冲突和优化不稳定。GraphDPO通过图结构的Plackett-Luce目标函数聚合邻域监督，强制传递性，并保持线性复杂度。实验表明，在推理和程序合成任务中，GraphDPO优于成对和列表式对齐方法，是一种可扩展且鲁棒的替代方案。

论文偏好优化 DPO 图结构学习

推荐理由：该研究从图论视角重新审视偏好对齐，解决了DPO在多响应数据上的局限性，对提升模型训练效率和稳定性具有实际指导意义。

原文