#DPO

一篇做 Solidity 代码生成的训练方法论文，思路挺有意思：训练时检索、推理时不检索，再用语义扰动造 DPO 数据，Qwen2.5-Coder 等模型上验证有效。

针对智能合约代码生成难保语义一致的问题，这篇论文用 RAFT 加 SAP 扰动构造的 DPO，在 SolidityBench 上让三个 7B 级模型都拿到了最好成绩，做合约生成的人可以看看方法细节。

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。

研究人员发现高频令牌会稀释偏好信号，提出ADPO方法通过掩码这些令牌，在不增加计算成本的情况下提升了模型对齐效果。

OpenAI等公司常用偏好优化方法会意外传递谄媚行为，影响模型准确性。

做蛋白质结构预测的可以看看这篇，它对比了四种 oracle 预算分配方法，告诉你低预算用 O3，高预算用 FK-steering 和 DPO，挺实用。

这篇论文提出了一个能生成完整歌曲的框架，支持歌词生成、纯音乐和翻唱，还在排行榜上验证了效果，音乐生成方向的同学可以看看。

这篇论文用LLM智能体模拟政党结盟谈判，设计了MILT和CIS两个新指标来追踪条款来源和影响力，在比利时选举数据上验证了有效性，对政治学和AI研究都很有参考价值。

这篇论文用Qwen3-14B和DPO实验证明，离线训练越保守，在线适应越容易翻车，还在GSM8K上给出了最优保守度公式。做RLHF的值得一读。

想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

Fireworks AI@FireworksAI_HQ原文

别光看用户点了什么赞，鼠标和眼睛动的方向才是真心话。这篇论文用59人的眼动和鼠标轨迹数据训练奖励模型，准确率从55%飙到64，还开源了数据集。

做健康/情感类推荐系统的团队终于有了一个可落地的离线优化方案——用世界模型模拟用户情感反馈，避免在线实验的伦理风险，做医疗或老年人应用的开发者可以直接参考其方法论。

该研究从图论视角重新审视偏好对齐，解决了DPO在多响应数据上的局限性，对提升模型训练效率和稳定性具有实际指导意义。