谷歌发布"睡眠框架"：让大模型边用边学，不忘旧知识

Google Research 于 10 月 27 日发布持续学习研究成果"睡眠框架"，论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。该框架将模型运行分为"清醒"和"睡眠"两个阶段：清醒时把输入暂存于短期记忆，睡眠时通过参数扩展、混合专家记忆块和知识蒸馏，将上下文信息写入长期参数而不覆盖旧知识。"做梦"环节让模型生成合成训练样本，用强化学习练习推理。实验中模型可处理最长约 1000 万 token 的上下文，在未见语言的持续学习中性能下降接近零，并在 AIME 24/25 数学基准上取得更高准确率。