论文精选72°

LLM智能体记忆不可靠:反复重写反而更糟

This Illinois+ Tsinghua University and other labs …

精选理由

做AI智能体开发的团队会立刻警觉——你精心设计的记忆系统可能在悄悄退化。这篇论文用实验数据戳破了「自动总结记忆」的幻觉,建议所有用LLM做长期任务的开发者点开看看,别让记忆成为瓶颈。

AI 摘要

伊利诺伊大学和清华大学等实验室的研究发现,LLM智能体在持续重写自身记忆时,记忆会变得不可靠。许多智能体系统通过让LLM将混乱经验压缩成整洁教训来存储过往工作,但论文表明反复重写会逐渐损害记忆。原始经验(实际尝试和解决方案)往往比精炼后的教训更有用。在网页购物、模拟世界、应用使用和ARC-AGI谜题等任务中测试,GPT-5.4在无记忆时解决100%的ARC-AGI任务,但用正确解决方案构建记忆后,流式更新导致准确率降至约54%。失败源于错误分组、过度泛化和过拟合,记忆丢失细节、混淆任务类型或学习到仅适用于狭窄示例的规则。论文建议智能体记忆不应自动将每次经验重写为摘要,保留原始证据并仅偶尔制作摘要效果更好。

AI 翻译 · 中文

伊利诺伊大学和清华大学等实验室的研究发现,LLM智能体在持续重写自身记忆时,记忆会变得不可靠。许多智能体系统通过让LLM将混乱经验压缩成整洁教训来存储过往工作,但论文表明反复重写会逐渐损害记忆。原始经验(实际尝试和解决方案)往往比精炼后的教训更有用。在网页购物、模拟世界、应用使用和ARC-AGI谜题等任务中测试,GPT-5.4在无记忆时解决100%的ARC-AGI任务,但用正确解决方案构建记忆后,流式更新导致准确率降至约54%。失败源于错误分组、过度泛化和过拟合,记忆丢失细节、混淆任务类型或学习到仅适用于狭窄示例的规则。论文建议智能体记忆不应自动将每次经验重写为摘要,保留原始证据并仅偶尔制作摘要效果更好。

rohanpaul_aiThis Illinois+ Tsinghua University and other labs study finds that LLM agents still have unreliable memory and that it can get worse when they keep rewriting their own memories. LLM agents can learn from experience, but