#Fisher信息矩阵

做生物启发学习或替代 BP 训练的人该看看这篇：预测编码加上一个侧向回路，就能隐式算 Fisher 逆矩阵。在 ImageNet 上比 AdamW 训的 BP 省一个数量级算力、两个数量级样本，性能还不掉。

对抗训练领域的老问题：很多攻击只是推高 loss，模型置信度其实没被真正扰动。这篇论文从 Fisher 信息矩阵几何角度重做了扰动生成，理论给得清楚，算法避开了高维矩阵计算。做鲁棒性研究的同学可以直接看实验部分和伪代码。

这篇论文给IRL的超梯度计算找了个巧妙的捷径，用Fisher矩阵和谱草图省下大量算力，做强化学习的朋友可以看看。