Meta AI 提出自我改进记忆:先优化记忆提示,再把技能训进模型
Meta 把记忆管理的提示搜索和权重微调串成了一条流水线,跑分比手写策略高出十几分。做持续学习或 agent 记忆系统的人可以照着复现,微调那步的做法尤其值得细看。
Meta AI RAM 团队提出 Self-Improving Memory 方法,让语言模型在持续任务中越做越好。核心不是把全部历史塞进上下文,而是让模型学会写记忆、组织记忆以及何时读回,实验使用 Kimi-K2.6 同时充当任务 agent 和改提示的元 agent。
方法分两步:第一步由元 agent 阅读任务轨迹、分数和记忆目录,迭代改写 LOAD 与 OFFLOAD 提示,新提示在留出集上评估,只保留分数更高的版本;第二步做配套蒸馏,用最优提示跑训练任务并记录轨迹,再把轨迹中的优化提示换回通用提示后做微调,损失只落在模型自己的输出上。
结果上,自动优化提示在 Continual Learning Bench 的 Database、Codebase 和 Spectrum 三项任务平均得 56.0 分,比最好的手写提示高 11.4 分,比通用提示高 19.9 分;微调后模型只用通用提示得 43.1 分,比通用轨迹微调的 37.6 高 5.5 分,说明提示增益只有一部分进了权重。44 次提示修订中有 37 次未超过此前最好成绩,评估筛选环节不可少。
Meta AI 提出自我改进记忆:先优化记忆提示,再把技能训进模型 Meta AI RAM 团队提出 Self-Improving Memory,想让语言模型在持续任务中越做越好。关键不是把全部历史塞进上下文,而是学会怎么写记忆、怎么组织,以及何时再读回来。他们用同一套模型 Kimi-K2.6,既当任务 agent,也当改提示的元 agent。 在他们的设定里,每个子任务都从空白上下文开始,能跨任务留下的只有一个持续存在的记忆目录,模型用文件工具读写。通用配套只给简短的 LOAD 和 OFFLOAD 指示:任务前读取相关信息,任务后把学到的内容写回去,具体策略交给模型自己决定。 facebookresearch.github.io/RAM/blogs/self… 没有一种手写记忆策略能通吃 他们在 Continual Learning Bench 的 Database、Codebase 和 Spectrum 三项任务上比较了几种常见的手写记忆设计,比如摘要、检索、技能库和假设跟踪。结果显示,没有一种策略在三项任务上都最好。因此,记忆该怎么用,不宜预先写成统一规则,更适合让模型按任务自己发现。 先发现更好的提示,再蒸馏进权重 方法分成两步。第一步是优化运行配套:元 agent 阅读任务轨迹、分数和最终记忆目录,找出记忆使用上的问题,改写 LOAD 和 OFFLOAD 提示;新提示会在留出集上评估,只保留分数更好的版本继续改。搜索从几种人手写的种子提示出发,每轮选出靠前的设计再修订。 第二步是配套蒸馏。用得分最高的提示跑训练子任务,记录模型的回答、推理和工具调用,再把记录里的优化提示换回通用提示,用这些轨迹做微调。损失只落在模型自己的输出上。这样训练完成后,模型在只用通用提示时,也能部分复现那些更好的记忆行为,例如把仓库说明、可复用修复和模式事实分文件存放,并在改代码前先跑测试。 提示上的增益,只有一部分进了权重 在三项任务上,自动优化后的提示平均分为 56.0,比各任务上最好的手写提示高 11.4 分,比通用提示高 19.9 分,Codebase 上提升最大。微调之后,模型只用通用提示,测试均分为 43.1,比在通用轨迹上微调的 37.6 高 5.5 分。也就是说,更好的提示带来的能力,有一部分被写进了权重,但并没有全部留下。 搜索本身也说明,提议还要靠评估来筛选:在已完成的搜索里,44 次修订中有 37 次没能超过此前最好成绩。Codebase 的例子更具体:一开始只做大段摘要,笔记越写越臃肿,分数几乎没有提升;改成复用已记录路径、保留失败规则后,分数明显上升;再加上精简的快速入门、带索引的修复登记表和分开存放的修复文件,效果继续变好。📊 2 ⚡
This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Meta AI, Kimi-K2.6, memory mechanisms, continual learning.
Source attribution: curated from shao__meng (@shao__meng).