23:22
berryxia@berryxia
berryxia@berryxia83°
推荐理由：这个研究用“睡觉”这种生物启发机制解决了长上下文推理的显存和速度瓶颈，做长序列AI应用的开发者可以直接参考开源方案，比堆显存更聪明。
记忆固化
共 1 条相关 AI 资讯
5月26日
23:22
CMU和UMD的研究团队发现，Transformer大模型在处理超长任务时注意力机制会因上下文长度二次方爆炸而性能下降。他们提出“sleep-like consolidation”机制，让模型在“睡眠”期间将最近上下文转化为持久fast weights并清空KV cache，从而将短期记忆转为长期记忆。实验表明，增加睡眠深度或时长能显著提升睡眠后的推理能力。该方案完全开源，颠覆了传统靠堆显存扩展上下文的做法。