10:28
arXiv: DeepSeek@Yishuo Cai, Xingyu Guo, Xuancheng Huang, Jinhua Du, Can Huang, Wenxuan Huang, Wenhan Ma, Yuyang Hu, Aohan Zeng, Jie Tang, Xu Sun 论文提出MemoPilot,一种插件式记忆副驾驶,通过强化学习显式训练记忆更新过程,使冻结的LLM在连续交互中提升性能。该方法将记忆更新建模为多轮决策问题,采用多轮GRPO端到端优化,引入轮次奖励信号和上下文无关的轮级优势估计,实现更精细的信用分配和稳定训练。在多人石头剪刀布和有限注德州扑克两个测试环境中,MemoPilot的Elo评分分别达到1590和1762,超越所有基线记忆方法和包括DeepSeek-V3.2在内的闭源模型。这项工作解决了现有方法依赖手工设计提示规则、难以对齐记忆更新与长期目标的痛点。
推荐理由:做LLM智能体长期部署和持续学习的团队可以关注——MemoPilot用强化学习自动优化记忆策略,比手工调提示更系统,在博弈场景中效果显著,值得在类似任务中尝试。