Google Research 发布 SLEEP：用「睡眠巩固」周期减轻大模型灾难性遗忘

Google Research 发布 SLEEP 方法，让 LLM 在「清醒交互」和「睡眠巩固」之间周期切换。睡眠阶段动态扩容 MoE 记忆块，用广义知识蒸馏（GKD）把短期上下文信息写入长时参数，再用合成数据做「做梦」式自我改进。持续翻译评测中，SLEEP 对满语、Kalamang 等未见语言近乎零掉点，遗忘程度低于 ICL、Cartridges 和 SFT 基线。长上下文方面在 BABILong 上称可扩展到约 1000 万 token，数学推理在 AIME 24 上达到约 79.2%，优于 SFT 和 GRPO。