Fisher信息矩阵

general · First seen 2026-08-12 · Last seen 2026-11-13 · 5 mentions

Overview

Fisher信息矩阵是统计学与机器学习中衡量模型参数所携带样本信息量的二阶工具,其第 i 个对角元素反映参数微小变化对模型预测分布的影响程度。在深度学习中,它常被用作二阶优化与损失景观分析中的 Hessian 矩阵近似,也是弹性权重固化(EWC)等持续学习方法的核心依据。由于完整计算代价过高,实践中多采用对角近似或经验采样估计。

Fisher信息矩阵的近期研究进展

近期的应用研究显示,Fisher信息矩阵正从经典统计工具向更多学习范式扩散。在无任务持续学习方向,FiUni框架解决无任务持续学习问题提出了 FiUni 框架,利用参数重要性度量来在新任务到来时不依赖任务标识的情况下保护旧知识,这类方法延续了 EWC 以 Fisher 信息刻画参数敏感性的思路。

在优化算法层面,高效超梯度下降法用于逆强化学习针对逆强化学习的双层结构提出更高效的超梯度计算,其中涉及对内层解敏感性的估计——这与 Fisher 信息在双层优化中所扮演的曲率近似角色密切相关,说明二阶信息的高效近似仍是工程化关键。

在科学机器学习方向,KPPax: preprocess differentiable kinetic ODE for machine learning in atmospheric chemistry构建了面向大气化学动力学 ODE 的可微分处理管线,使梯度与曲率信息能够贯穿模拟与训练过程,为参数推断和不确定性量化提供了基础设施支持。

当前焦点与观察点

围绕 Fisher 信息矩阵的主要争议集中在估计精度与计算成本的权衡上:完整矩阵的存储和计算随参数量平方增长,对角近似又可能低估参数间的耦合,近期不少工作尝试用块对角、K-FAC 分块或低秩结构来折中。另一个观察点是它在持续学习中的泛化——FiUni 等框架把基于 Fisher 的重要性加权从任务序列推广到无任务场景,其有效性有待更多基准验证。随着可微分编程工具链(如 KPPax 这类领域管线)成熟,Fisher 信息在科学计算参数推断中的落地也值得关注,整体趋势是二阶信息的高效、可扩展估计。

Coverage

5 on file