精选理由
这篇论文教你怎么用更少的反馈数据训练扩散模型，关键是把去噪步和样本按重要性加权，实验涨了6倍效率。
本文提出两种互补策略提升扩散模型RLHF的反馈效率。第一种是逐时间步加权方案，重新调整策略优化中去噪步骤的权重，并与PPO的最优收敛性质建立理论联系。第二种是基于优势的回放机制，优先复用信息丰富的轨迹，减少对新奖励查询的依赖。在相同超参数下，该方法将样本效率提升高达6倍，并保持对未见提示的泛化能力。
AI 翻译 · 中文
本文提出两种互补策略提升扩散模型RLHF的反馈效率。第一种是逐时间步加权方案，重新调整策略优化中去噪步骤的权重，并与PPO的最优收敛性质建立理论联系。第二种是基于优势的回放机制，优先复用信息丰富的轨迹，减少对新奖励查询的依赖。在相同超参数下，该方法将样本效率提升高达6倍，并保持对未见提示的泛化能力。
Reinforcement learning from human feedback (RLHF) has emerged as a powerful paradigm for aligning generative models with human preferences. However, applying RLHF to diffusion models remains highly feedback inefficient, …