PapersMulti-source

Anthropic 研究:Agent 记忆不是越多越好,后台整理(dreaming)如何变成可用经验

Why we picked it

Anthropic 用实验数据讲清了 Agent 记忆怎么存、怎么整理才有用,61% 覆盖率和省 2 万 token 的细节很实在。

Anthropic 团队 Lance Martin 通过多组实验说明,Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验并按需检索。后台整理被称为 dreaming,可与眼前任务分开执行,但不能替代检索。在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%,知识库结合搜索后从 54% 提升到 61%,每题少用约 2 万 token。另一个合同案例中,改为每份合同单独一页、由一个代理负责并逐字引用条款后,关键事实覆盖从 41/57 提升到 57/57。

Original · shao__meng

Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验 来自 Anthropic 团队 @RLanceMartin 分享,通过多组实验说明:Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验,并在需要时找到它们。后台整理能够改善部分任务,但不是检索的替代品,也未必总能抵消维护成本。 anthropic.com/research/compo… # 记忆不等于聊天记录 这里的记忆是跨会话保存、以后可以读取的上下文,不涉及更新模型权重,也不只是压缩当前对话。 文章讨论了几个配合使用的环节:保留原始记录供追溯;执行任务时写下目标、计划和已验证的经验;后台回看记录,纠错、去重、补链接,必要时建立知识库;读取时只提前加载少量重要内容,其余按需检索。 作者把后台整理称为 dreaming。它并不是让模型“睡觉”,而是把整理经验与眼前任务分开,给模型专门的时间处理已有信息。 # 好记忆要保存什么 在 CL-Bench 数据库任务中,每道题开启新会话,只有记忆目录保留。模型作答后会收到正确答案,再整理经验。较强模型开始保存经过验证的规则和依据,而不只是记录错题;限定“只记失败”,反而削弱了收益。 这说明有价值的记忆不只是“上次做错了什么”,还包括什么规则成立、为什么可信、以后何时适用。能随时重新读取的状态,则不必反复抄进笔记。 # 实验显示:整理与搜索互补 在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%;知识库结合搜索,随着整理轮次增加,从 54% 提升到 61%,每题少用约 2 万 token。 这里的 61% 不是“答对了 61% 的问题”,节省的 token 也没有扣除后台建库成本。跨文档整合任务收益更明显,部分以单文件检索为主的任务则没有改善,知识库甚至比原文更大。 另一个合同案例中,多代理共写一张表导致覆盖。改成每份合同单独一页、一个代理负责,并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。改善来自组织和写入规则,不只是增加思考时间。 Anthropic @AnthropicAI Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. anthropic.com/research/compo… 🔗 View Quoted Tweet 💬 5 🔄 0 ❤️ 0 👀 208 📊 4 ⚡