AITOPAI热报

Direct Preference Optimization

concept · First seen 2026-05-22 · Last seen 2026-10-28 · 14 mentions

Overview

Direct Preference Optimization（DPO，直接偏好优化）是一种大语言模型对齐训练方法，由 Rafailov 等人在 2023 年提出，用分类式的目标函数直接从人类偏好数据中学习，从而绕开了传统 RLHF 中需要单独训练奖励模型、再用强化学习微调的复杂流程。凭借实现简单、训练稳定、算力开销低这几个特点，DPO 已成为开源社区和工业界最常用的偏好对齐手段之一，也在图像生成、语音、自动驾驶等非文本领域不断被改造和扩展。

Direct Preference Optimization 的近期进展

从近期论文看，DPO 的研究热点正从通用对话场景转向具体领域和具体环节的精细化改造：

  • 信号控制变体：LSC-DPO: Learning-Signal-Controlled Direct Preference Optimization 提出对训练中的学习信号进行调控，试图解决标准 DPO 中梯度分配不均、模型容易过拟合偏好对的问题，属于对 DPO 内部机制的直接改进。
  • 代码生成场景：RAPO-Sol: Retrieval-Augmented Preference Optimization for Repository-Level Solidity Code Generation 将检索增强与偏好优化结合，面向仓库级 Solidity 代码生成任务，说明 DPO 正被引入对正确性要求极高的编程与安全敏感领域。
  • 生成模型扩展：Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models 把 DPO 推广到扩散模型和流匹配模型，证明了偏好优化范式可以脱离自回归语言模型独立存在。
  • 跨模态应用：VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving 和 RetroThinker: Enabling Retrospective Thinking in Speech LLMs 分别把 DPO 用于自动驾驶决策和语音大模型，显示对齐需求正在向多模态系统扩散。

    • 当前焦点与观察点

    围绕 Direct Preference Optimization，目前的讨论主要集中在三个层面。其一是理论基础的再审视：Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph 指出成对偏好数据的背后隐含着一个更大的偏好图结构，这可能解释了为何仅靠二元对比就能产生较好的对齐效果，也提示未来可以更充分地利用非成对偏好信息。其二是适用边界的探索：Hugging Face 上的文章 Direct Preference Optimization Beyond Chatbots 讨论了 DPO 在聊天机器人之外的应用可能，与上述扩散模型、自动驾驶、代码生成等工作相互印证。其三是在线与离线之争：与需要持续采样反馈的在线 RLHF/GRPO 类方法相比，DPO 依赖离线偏好数据的特性既是优势（成本低、可复现）也是局限（受限于数据覆盖范围），两种路线的取舍仍是社区反复争论的问题。

    总体来看，DPO 已从一种

    Coverage

    9 on file
    Direct Preference Optimization · AI 话题观测｜AI热报