精选理由
这论文教你用VLM给RL智能体自动设计奖励函数，不用手动调公式，在Meta-World和Franka Kitchen上训练更快，还防奖励黑客。
研究人员提出VLM-PBRS框架，利用轻量级视觉语言模型（VLM）的偏好反馈学习势函数，实现自动化基于势能的奖励塑形（PBRS）。该方法在Meta-World和Franka Kitchen环境上验证，相比无塑形的基线，样本效率提升且未导致奖励黑客。实验表明，即使使用计算开销更小的小型VLM，其偏好标签仍能有效加速强化学习策略训练。该工作是首个将VLM偏好学习应用于PBRS势函数合成的研究。
AI 翻译 · 中文
研究人员提出VLM-PBRS框架，利用轻量级视觉语言模型（VLM）的偏好反馈学习势函数，实现自动化基于势能的奖励塑形（PBRS）。该方法在Meta-World和Franka Kitchen环境上验证，相比无塑形的基线，样本效率提升且未导致奖励黑客。实验表明，即使使用计算开销更小的小型VLM，其偏好标签仍能有效加速强化学习策略训练。该工作是首个将VLM偏好学习应用于PBRS势函数合成的研究。
Sparse rewards are inherently challenging for reinforcement learning agents as they lack intermediate feedback to guide exploration and to correctly attribute the sparse success rewards to relevant parts of the trajector…