09:50
官方账号arXiv cs.AI@Katie Everett
推荐理由：想搞懂Transformer为什么深了还能训练？这篇从秩角度拆解跳接、归一化、双矩阵的设计逻辑，比堆实验更透彻。
归一化
共 1 条相关 AI 资讯
7月16日
09:50
该论文揭示了Transformer前馈块中跳接和归一化不仅控制幅度，还通过调整分支与跳接的比例来保留梯度的秩。实验表明Pre-Norm使秩趋于平稳，而Post-Norm导致秩崩溃。双矩阵结构的宽度扩展遵循Marchenko-Pastur律，在CIFAR-10上输入-输出雅可比矩阵的初始化秩可预测网络训练性能。