Newton(牛顿法)是机器学习优化领域以二阶导数信息(如 Hessian 矩阵)为基础的一类经典算法,相比一阶梯度下降能更精确地刻画损失函数曲率。近年来,随着 Muon 等谱方法优化器崛起,Newton 相关的数学工具(如 Newton-Schulz 迭代、Hessian 分析)在深度学习中的地位明显回升,成为二阶优化与矩阵正交化研究的核心。
Newton 类方法的近期进展
当前焦点与观察点
目前围绕 Newton 方法的讨论主要有两条线。其一是效率问题:完整的 Newton 法需要计算并求逆 Hessian,开销在大模型场景不可承受,因此主流做法是降级近似——MALT 的曲率感知方案、Newton-Schulz 迭代这类不显式构造 Hessian 的矩阵迭代,都是为了让二阶信息以可负担的成本进入训练流程。其二是理论解释问题:Hessian 特征值聚类等损失景观现象直接关系到 Newton 法与谱优化器为何有效,相关理论研究正在为工程实践提供依据。
值得注意的是,Newton 相关技术正从“优化器”单一角色扩展到注意力机制设计、机器遗忘、物理约束生成等多个环节,例如 PMosFM 的预条件流形匹配中同样能看到二阶预条件思想的影子。观察点在于:这些以 Newton 数学为基础的轻量化方案能否在超大规模模型训练中被主流框架采纳,以及理论解释能否跟上应用扩散的速度,将决定二阶方法这一波回潮是阶段性热点还是长期趋势。