Fisher

general · First seen 2026-05-22 · Last seen 2026-11-19 · 118 mentions

Overview

Fisher 信息矩阵(Fisher Information Matrix)是统计学与机器学习中衡量模型参数对数据分布敏感度的核心工具,定义为对数似然函数梯度平方的期望,在优化、模型压缩与持续学习等方向被广泛用作二阶近似的基础。随着大模型研究推进,如何低成本估计 Fisher 信息并在实践中加以利用,成为近期多篇工作的共同关注点。

Fisher 信息相关近期进展

  • LEMS 与 KFAC-SVD 改进 SVD 压缩方法降低 LLM 计算成本:该工作将基于 Fisher 信息的 Kronecker 分解近似(KFAC)与 SVD 结合,用于大语言模型权重压缩,在不明显损失精度的情况下降低推理计算开销。
  • LIRA:基于损失扰动的可解释动态秩分配 LoRA 微调方法:通过扰动损失来估计参数重要性(与 Fisher 信息思想同源),为 LoRA 微调动态分配秩,并给出可解释的分配依据。
  • DISCERN:无需保留集的增量式机器遗忘方法:在机器遗忘场景中利用二阶参数敏感度信息近似删除数据的影响,摆脱了对保留数据集的依赖。
  • GA-SRMC 提出几何感知改进,MCMC 采样 ESS 最高提升 6.8 倍:借助局部几何信息(其经典形式即 Fisher 度量)改进 MCMC 采样,有效样本量最高提升至原来的 6.8 倍。
  • 当前焦点与观察点

    围绕 Fisher 信息的研究目前呈现两条主线。其一是工程化:KFAC 等结构化近似让二阶信息在大规模模型上变得可负担,被压缩、微调(如 LoRA 秩分配)等任务直接借用,作为“参数重要性”的通用代理。其二是几何化:从 Bures 几何研究神经网络表征,到几何感知采样器,Fisher 度量被视为连接优化、统计与表征学习的桥梁。

    值得关注的争议点在于:Fisher 信息在深度网络中通常不可精确计算,各种近似(对角、Kronecker、经验 Fisher)之间的有效性差异尚缺乏统一评估;此外,其假设的局部二次性质在训练非平稳阶段是否成立,也仍是开放问题。对从业者而言,将 Fisher 信息作为重要性度量时,建议结合具体任务验证其可靠性,而非默认套用。

    Coverage

    10 on file