RLHF Reinforcement Learning from Human Feedback

RLHF(基于人类反馈的强化学习)是用人类对回答的偏好排序训练奖励模型、再用强化学习优化语言模型的方法,是 ChatGPT 得以「听话」的关键技术。

流程:监督微调 → 训练奖励模型 → PPO 等 RL 优化。后续变体包括 DPO(直接偏好优化,省去显式奖励模型)与 RLAIF(用 AI 反馈替代部分人工)。推理模型的训练也大量依赖可验证奖励的强化学习(RLVR)。

查看「RLHF」相关最新资讯 →