AITOPAI热报

持续学习

general · First seen 2026-05-22 · Last seen 2026-10-27 · 109 mentions

Overview

持续学习（Continual Learning）指模型在不遗忘旧知识的前提下，从连续到来的新数据中不断学习新任务的能力，是应对灾难性遗忘的核心研究方向。随着大模型和智能体应用增多，如何在推理端实现低成本的知识更新，正成为持续学习从学术问题走向工程落地的关键转折点。

持续学习近期进展

  • TRACE：无回放的时序类增量学习框架，内存占用降低约98%：该框架无需回放旧样本即可处理时序类增量任务，据论文报告可将内存占用降低约 98%，为资源受限场景下的持续学习提供了可行路径。
  • Continual Learning Exam：评估 LLM 智能体持续学习能力的 600 级基准：一项包含 600 个级别的基准被提出，用于系统评测 LLM 智能体在长周期任务中持续吸收经验的能力，填补了大模型持续学习评估的空白。
  • FlowGenesis：基于表征变化自动增删神经元的自适应架构框架：通过监测表征变化动态调整网络容量，为结构可塑性方向提供了新方案。
  • 研究：经验回放在 sEMG 手势识别跨用户持续学习中优于 EWC：在跨用户手势识别的实测中，经验回放优于正则化方法 EWC，说明简单方法在真实应用中仍有竞争力。

    • 当前焦点与观察点

    当前持续学习研究呈现两条主线：一是方法效率，如无回放框架 TRACE、免反向传播的 Delta N-gram 记忆写入机制（arXiv）以及面向在线场景的 SPIN 优化器（arXiv），都在降低更新的算力与存储成本；二是评测标准化，Continual Learning Exam 等基准的出现表明社区开始重视对 LLM 智能体的统一衡量。

    落地侧也有实质动作。据 PyTorch 官方消息，Shopify 在 PyTorchCon 2026 分享了基于 PyTorch 和 vLLM 构建的持续学习闭环（来源），显示业界已在生产环境中尝试在线知识更新。值得关注的争议点在于：经验回放与正则化方法孰优孰劣仍因场景而异，此外理论层面 ETF 目标在分析式持续学习中被证明不可行、需依赖 Equinorm 后处理改善长尾分类（arXiv），说明该领域的理论地基仍在修补中。总体看，持续学习正从单模型防遗忘，扩展为智能体长期演进的基础设施问题。

    Coverage

    10 on file