学习动力学

general · First seen 2026-06-09 · Last seen 2026-10-19 · 4 mentions

Overview

学习动力学是机器学习理论的一个分支,研究神经网络在训练过程中参数如何随时间和梯度更新逐步演化,目的是解释模型“学到了什么、何时学会、为何泛化”的底层机制。它与优化理论、统计物理和表征学习交叉,近年来随着大模型的可解释性需求上升,逐渐从纯理论走向对实际训练现象的定量刻画。

学习动力学的近期进展

  • 研究提出宽神经网络学习动力学的介观描述方法:该工作针对宽神经网络提出一种介于宏观与微观之间的“介观”描述框架,试图在无限宽度极限的精确理论有限宽度网络之间搭建桥梁,让学习动力学的分析更贴近真实模型的规模。
  • Grokking 现象解析:什么条件触发延迟泛化、平台期有多长:围绕 grokking(先记忆后突然泛化)这一反直觉现象,研究分析了触发延迟泛化的具体条件以及平台期的长短规律,为理解学习动力学中的相变式转变提供了更细的刻画。
  • Transformer 在归纳推理任务中的不变学习动力学:该研究考察 Transformer 在归纳推理任务上的训练轨迹,发现其学习动力学表现出某种不变性,说明不同初始化或设定下模型可能沿相似的路径习得推理能力。
  • 学习动力学揭示权重诱导的层级 Gram 度量层次结构:通过追踪训练过程中权重的演化,这项工作识别出一种层级化的 Gram 度量结构,把学习动力学与模型内部的表征几何联系起来。
  • 当前焦点与观察点

    目前学习动力学研究的重心可以概括为三点:一是从理想化的无限宽度理论转向有限宽度、真实规模的描述,介观方法是其中的代表;二是对 grokking、延迟泛化等非平稳现象给出可预测的条件和时长,而不只是事后解释;三是把动力学分析与 Transformer 等架构上的具体任务(如归纳推理)结合,检验理论结论能否迁移到实际训练中。

    值得观察的方向包括:这些动力学描述能否用于预测训练中的突变点,从而指导超参数选择或提前止损;以及基于权重演化几何的度量结构,能否成为比较不同模型、不同训练阶段的新工具。总体来看,该领域仍以 arXiv 上的理论工作为主,距离直接服务于工程训练实践还有一定距离,但其结论正逐步与可解释性研究形成呼应。

    Coverage

    4 on file
    学习动力学 · AI 话题观测|AI热报