Anthropic 分享 Dreaming:让 Claude 在任务外离线整理 Agent 记忆
Anthropic 把 Agent 的记忆整理比作做梦:后台纠错、归纳规则、建 wiki,搜索覆盖率从 53% 涨到 61%,做 Agent 的都该看看细节。
Anthropic 研究员 Lance Martin 分享了名为 dreaming 的后台记忆整理方法:不更新模型权重,而是在任务外回顾记录、纠错、去重并组织知识。在约 35 万份文件、4.2 亿 token 的内部语料实验中,单靠搜索的评分标准覆盖率为 53%,wiki 配合搜索提升到 61%,每题少用约 2 万 token。在 CL-Bench 数据库任务中,较强模型开始保存经过验证的规则和依据,只记失败的设定反而削弱收益。合同案例里,改为每份合同单独一页并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。
Anthropic 系统分享 Dreaming:让 Claude 在任务之外整理记忆,把经历变成经验 “dreaming”:利用离线计算,回顾经历、纠正错误、形成新记忆,并重新组织知识,让下一次任务不必从头探索。 这里的学习发生在外部记忆中,不是更新模型权重。 # 记忆可以纠错,而不是永久保留第一次判断 Agent 当场写下的笔记未必正确。错误一旦被保存,还可能反复影响后续行动。 游戏实验中,Claude 的错误地点笔记让它不断走回原路。后台整理时,它重新核对会话记录,修正笔记,随后得以继续推进。 这比“记得更多”更重要:记忆不只是保存判断,还需要根据证据修订判断。 # 不只总结记录,还能形成新的知识结构 dreaming 不仅能纠错,也能创建新记忆和新的知识表示。例如,从多次尝试中归纳经过验证的规则,或把分散文档整理成带来源、相互关联的 wiki。 区别在于:普通记录回答“当时发生了什么”,整理后的记忆帮助回答“下次遇到这类问题,该查什么、怎么做”。这不是单纯压缩聊天,而是在为未来任务提前组织知识。 在 Anthropic 的内部文档实验中,搜索单独作答的评分标准覆盖率为 53%,wiki 配合搜索达到 61%,每题少用约两万 token;不过,节省量没有扣除预先建 wiki 的成本。 # 把事后整理,变成下一次行动的准备 整理后的内容也不必全部塞进上下文:重要索引提前加载,详细资料按需检索。这样既保留经验,又减少无关笔记的干扰。 meng shao @shao__meng Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验 来自 Anthropic 团队 @RLanceMartin 分享,通过多组实验说明:Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验,并在需要时找到它们。后台整理能够改善部分任务,但不是检索的替代品,也未必总能抵消维护成本。 anthropic.com/research/compo… # 记忆不等于聊天记录 这里的记忆是跨会话保存、以后可以读取的上下文,不涉及更新模型权重,也不只是压缩当前对话。 文章讨论了几个配合使用的环节:保留原始记录供追溯;执行任务时写下目标、计划和已验证的经验;后台回看记录,纠错、去重、补链接,必要时建立知识库;读取时只提前加载少量重要内容,其余按需检索。 作者把后台整理称为 dreaming。它并不是让模型“睡觉”,而是把整理经验与眼前任务分开,给模型专门的时间处理已有信息。 # 好记忆要保存什么 在 CL-Bench 数据库任务中,每道题开启新会话,只有记忆目录保留。模型作答后会收到正确答案,再整理经验。较强模型开始保存经过验证的规则和依据,而不只是记录错题;限定“只记失败”,反而削弱了收益。 这说明有价值的记忆不只是“上次做错了什么”,还包括什么规则成立、为什么可信、以后何时适用。能随时重新读取的状态,则不必反复抄进笔记。 # 实验显示:整理与搜索互补 在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%;知识库结合搜索,随着整理轮次增加,从 54% 提升到 61%,每题少用约 2 万 token。 这里的 61% 不是“答对了 61% 的问题”,节省的 token 也没有扣除后台建库成本。跨文档整合任务收益更明显,部分以单文件检索为主的任务则没有改善,知识库甚至比原文更大。 另一个合同案例中,多代理共写一张表导致覆盖。改成每份合同单独一页、一个代理负责,并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。改善来自组织和写入规则,不只是增加思考时间。 🔗 View Quoted Tweet 💬 7 🔄 1 ❤️ 8 👀 443 📊 7 ⚡