#optimization theory

用数学证明蒸馏为什么有效：好处在优化更快，不在泛化更好。训练广义线性模型和做矩阵近似时能直接套用这些结论，做模型压缩的工程师和理论方向研究者都值得看。

搞RNN或循环模型训练的可以看看，这篇把截断BPTT到底丢多少梯度信息给出了数学刻画，结论挺实用。

SGD 的步长到底该怎么设，这篇论文直接算出了极小极大最优解，还证明了唯一性，做优化理论或调参的都该看看。

一篇优化器理论论文：解释了 Adam 在幂律测量谱下为什么会莫名卡住，给出了能预测失效起点的公式，做低秩优化的可以看看。

搞优化理论的朋友可以看看，这篇把 SGD 在深度线性网络里的收敛性证明补上了，条件还挺宽松，不要求 Lipschitz。

训练好的模型 Hessian 谱总长那样？这篇论文用对称性破缺把聚簇和离群值一次讲清楚，还覆盖 transformer 和 NTK。