JERP:面向LLM智能体的经验规则与策略联合学习

Joint Learning of Experiential Rules and Policies for Large Language Model Agents

精选理由

这篇论文提出了JERP,让LLM智能体边干活边总结经验规则,在AlfWorld和WebShop上效果明显。

AI 摘要

JERP(Joint Learning of Experiential Rules and Policies)是一种让LLM智能体同时从交互轨迹中更新经验规则池和策略的方法。该方法在决策时检索任务相关规则,并结合交互历史指导行动;每轮结束后,利用轨迹对比参考成功案例来优化策略与修正规则池。在AlfWorld和WebShop两个基准测试上,JERP在复杂交互任务中持续提升了决策性能。这一耦合机制使规则池与演化策略保持同步,同时将稳定有效行为逐步吸收到模型参数中。

AI 翻译 · 中文

JERP(Joint Learning of Experiential Rules and Policies)是一种让LLM智能体同时从交互轨迹中更新经验规则池和策略的方法。该方法在决策时检索任务相关规则,并结合交互历史指导行动;每轮结束后,利用轨迹对比参考成功案例来优化策略与修正规则池。在AlfWorld和WebShop两个基准测试上,JERP在复杂交互任务中持续提升了决策性能。这一耦合机制使规则池与演化策略保持同步,同时将稳定有效行为逐步吸收到模型参数中。

arXiv cs.AIFor LLM agents in multi-step interactive environments, a key challenge is to make effective use of accumulated interaction experience. Existing work has typically separated two uses of such experience: keeping it outside