奖励塑造相关 AI 资讯 · AI 热点

8月19日

11:40

11:40

官方账号arXiv cs.LG@Christophe D. Hounwanou, John Emeka Eze, Yaé U. Gaba

该研究结合大型语言模型与强化学习，将LLM规划器和RL控制器架构形式化为目标增强马尔可夫决策过程。研究表明，当LLM的状态进展分数作为有界势函数时，即使LLM评分不准确，形成的奖励塑造项也能保持最优策略集。研究者在小型MDP上验证了结果，包括四种势能配置，其中一种对抗性配置放大到基础奖励幅度的20倍。

论文 LLM RL MDP

推荐理由：这篇论文提出了LLM反馈的奖励塑造方法，即使在LLM评分不准确时也能保持最优策略，比传统方法更可靠。