Google Research 发布 SLEEP 框架：让模型睡眠时把短期记忆写进参数
Google 让模型学完新东西后「睡一觉」把知识固化进参数，Qwen3-8B 上 AIME 涨到 79.2%，代价是 4 倍算力，和 Anthropic 那套路子不一样。
Google Research 发布 SLEEP 框架，让模型在清醒期处理任务、积累短期信息，在睡眠期暂停新输入并进行记忆巩固。巩固阶段采用「知识播种」设计，启用预留的低秩专家参数，通过蒸馏把短期记忆迁移进去，不直接改写承载旧知识的参数。随后的「做梦」阶段让模型生成合成练习并筛选样本强化所学。以 Qwen3-8B 为基座，SLEEP 在 AIME 2024 的 avg@16 得分为 79.2%，对照的在线策略自蒸馏为 76.6%，代价是计算开销约为普通监督微调的 4 倍。与 Anthropic Dreaming 整理外部笔记不同，SLEEP 把知识写进模型参数本身。
Google Research 发布「SLEEP」框架，和 Anthropic Dreaming 有明显区别：让模型在处理新任务之外，专门进行记忆巩固，把临时学到的信息写进长期参数，再通过自己生成的练习强化能力，同时减少对旧知识的覆盖。 research.google/blog/the-sleep… 不只延长上下文，要把知识留下来 上下文学习能让模型临时掌握新信息，却不等于永久学会；直接持续微调，又容易学了新的、忘了旧的。 SLEEP 因此让模型交替“清醒”和“睡眠”：清醒时处理输入、积累短期信息；睡眠时暂停接收新输入，把这些信息巩固到更稳定的参数中。这里确实涉及训练和权重更新，不只是保存聊天记录。 怎样巩固，又不覆盖旧知识 论文把巩固过程称为“知识播种”：启用预留的低秩专家参数，通过蒸馏等训练，把短期记忆迁移进去，再清空短期部分，为下一轮学习腾出空间。 关键设计是给新知识安排新增参数，而不是直接改写承载旧知识的参数。 随后的“做梦”阶段，模型生成合成练习，筛选有价值的样本，再通过训练强化所学。它不仅复习已有输入，也尝试为自己构造练习。 效果如何，与 Anthropic Dreaming 有何不同 在依次学习满语、卡拉芒语的实验中，Google 报告 SLEEP 较好地保留了先前所学。以 Qwen3-8B 为基座，AIME 2024 的 avg @16 得分为 79.2%，对照的在线策略自蒸馏为 76.6%。 代价是额外训练：同等训练步数下，计算开销约为普通监督微调的 4 倍。这些仍是特定模型与任务上的研究结果。 与刚才的 Anthropic Dreaming 相比，区别很清楚：Anthropic 整理外部笔记和知识库；Google SLEEP 则尝试把所学写进模型参数。 💬 5 🔄 1 ❤️ 7 👀 512 📊 7 ⚡
