#秩崩溃

这篇论文揭示了SVD压缩在注意力机制中与秩崩溃的复杂关系，对模型压缩和优化有重要启示。

想搞懂Transformer为什么深了还能训练？这篇从秩角度拆解跳接、归一化、双矩阵的设计逻辑，比堆实验更透彻。