Fisher 信息矩阵(Fisher Information Matrix)是统计学与机器学习中衡量模型参数对数据分布敏感度的核心工具,定义为对数似然函数梯度平方的期望,在优化、模型压缩与持续学习等方向被广泛用作二阶近似的基础。随着大模型研究推进,如何低成本估计 Fisher 信息并在实践中加以利用,成为近期多篇工作的共同关注点。
Fisher 信息相关近期进展
当前焦点与观察点
围绕 Fisher 信息的研究目前呈现两条主线。其一是工程化:KFAC 等结构化近似让二阶信息在大规模模型上变得可负担,被压缩、微调(如 LoRA 秩分配)等任务直接借用,作为“参数重要性”的通用代理。其二是几何化:从 Bures 几何研究神经网络表征,到几何感知采样器,Fisher 度量被视为连接优化、统计与表征学习的桥梁。
值得关注的争议点在于:Fisher 信息在深度网络中通常不可精确计算,各种近似(对角、Kronecker、经验 Fisher)之间的有效性差异尚缺乏统一评估;此外,其假设的局部二次性质在训练非平稳阶段是否成立,也仍是开放问题。对从业者而言,将 Fisher 信息作为重要性度量时,建议结合具体任务验证其可靠性,而非默认套用。