#Hessian

训练好的模型 Hessian 谱总长那样？这篇论文用对称性破缺把聚簇和离群值一次讲清楚，还覆盖 transformer 和 NTK。

这篇论文分析了SGD和Adam训练中Hessian特征向量的不同行为，发现Adam会让少量参数主导曲率方向，直观解释了为什么两种优化器训练结果不同。