Google Research 发布 SLEEP 框架：让模型睡眠时把短期记忆写进参数

Google Research 发布 SLEEP 框架，让模型在清醒期处理任务、积累短期信息，在睡眠期暂停新输入并进行记忆巩固。巩固阶段采用「知识播种」设计，启用预留的低秩专家参数，通过蒸馏把短期记忆迁移进去，不直接改写承载旧知识的参数。随后的「做梦」阶段让模型生成合成练习并筛选样本强化所学。以 Qwen3-8B 为基座，SLEEP 在 AIME 2024 的 avg@16 得分为 79.2%，对照的在线策略自蒸馏为 76.6%，代价是计算开销约为普通监督微调的 4 倍。与 Anthropic Dreaming 整理外部笔记不同，SLEEP 把知识写进模型参数本身。