做深度推理项目的开发者终于有了新思路——不用堆算力，而是给模型“离线整理”时间，准确率直接拉升52%，值得一试。
CMU和UMD的研究者发现，大模型在多跳推理任务中表现不佳的根本原因不是内存容量，而是缺乏将上下文转化为可用内部表示的“巩固”过程。他们提出“睡眠”机制：在清空KV缓存前，让模型对当前上下文多次前向传播，将记忆沉淀进fast weights。实验显示，这一方法使多跳推理准确率提升52%，且推理延迟不变。这与当前行业狂加上下文窗口和test-time compute的方向不同，更接近人脑的睡眠记忆巩固机制。
特么人需要睡觉，大模型迎无一例外啊！ 我最近在用大模型做真正需要深度推理的项目时候 十万toke…
特么人需要睡觉，大模型迎无一例外啊！
我最近在用大模型做真正需要深度推理的项目时候
十万token的合同、整个codebase塞进去都没问题。
可一旦让我多跳追问、把散落的事实串起来，它就开始犯糊涂。
明明信息全在，却总觉得它知道答案在哪，就是拼不起来。
不仅睡觉，记忆也是大问题，
CMU和UMD的研究者最近发了一篇论文，直接把这堵墙拆开了。
论文标题就叫Language Models Need Sleep。
他们用Rule 110这种图灵完备的toy task做实验，发现问题根本不在内存容量。
hybrid模型的fast weights能存下信息，但真正把context翻译成可用的内部表示，需要多次forward pass去巩固。
他们把这个过程叫sleep。
在清KV cache前，让模型对当前context多跑几次forward pass，把记忆慢慢沉淀进fast weights。
预测时还是单次forward，延迟一点没变。
结果在多跳推理任务上，准确率直接拉升52%。
同一个小模型，同样的token预算，只是多给它一点离线整理时间。
这和行业现在狂加上下文窗口、搞test-time compute完全是两个方向。
o1那种在回答时多想几秒，用户得等。
而sleep是在读取context的间隙里多算，用户什么都感觉不到，答案却更靠谱。
大脑其实早就这么干了。
白天海马体快速存，白天睡着时慢波睡眠把记忆replay到新皮层。
进化保留了1/3时间不响应外界，就是为了让认知更深。
我们一直以为智能就是always-on、一击即中。
其实最强的智能，可能需要清醒期和睡眠期的节奏。