持续学习(Continual Learning)旨在让模型在不遗忘旧知识的前提下学习新任务,是AI迈向通用智能的关键能力。近期研究从理论机制、基准测试、应用扩展等层面推进了这一领域。
- 主要进展:
- 遗忘的几何可恢复性:Stable Recovery Manifold提出持续学习中的遗忘不是永久性的,旧知识在某些条件下可从参数流形的稳定区域恢复,为设计抗遗忘算法提供了新视角(Stable Recovery Manifold)。
- 新的基准与对比:CL-BENCH测试发现AI智能体常混淆记忆与学习,暴露了现有方法在区分长期学习和短期记忆上的不足;同时,一项研究表明简单的上下文学习(ICL)的持续策略性能即可超越专用记忆系统,挑战了复杂记忆模块的必要性(CL-BENCH, Continual Learning Bench)。
- 保持网络可塑性与克服灾难性遗忘:动态等距性机制通过约束网络几何结构维持可塑性;SETA方法利用稀疏子空间专家共享来缓解大语言模型(LLM)的灾难性遗忘;TailLoR保护参数主成分实现高效持续学习;FBCC则通过前向-后向知识蒸馏实现无监督聚类中的持续学习(动态等距性, SETA, TailLoR, FBCC)。
- 应用拓展:CoMetaPNS将持续元学习应用于个性化心脏电生理模拟;BabyCL通过儿童自我中心视频学习,探索人类早期持续学习机制在AI中的应用;FluxMem主张AI智能体记忆应设计为动态连接网络而非静态存储(CoMetaPNS, BabyCL, FluxMem)。
当前焦点 / 未来观察点: 当前研究正从单纯对抗遗忘转向理解遗忘的结构性特征,并探索更简洁高效的持续学习范式。LLM与智能体场景下的持续学习成为热点,记忆与学习的界限、模型可塑性的维持、以及从人类学习中的借鉴将是后续关注重点。