09:50
官方账号arXiv cs.AI@Katie Everett
推荐理由：想搞懂Transformer为什么深了还能训练？这篇从秩角度拆解跳接、归一化、双矩阵的设计逻辑，比堆实验更透彻。
初始化
共 2 条相关 AI 资讯
7月16日
09:50
该论文揭示了Transformer前馈块中跳接和归一化不仅控制幅度，还通过调整分支与跳接的比例来保留梯度的秩。实验表明Pre-Norm使秩趋于平稳，而Post-Norm导致秩崩溃。双矩阵结构的宽度扩展遵循Marchenko-Pastur律，在CIFAR-10上输入-输出雅可比矩阵的初始化秩可预测网络训练性能。
6月17日
09:40
09:40
官方账号arXiv cs.AI@Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu
73°
推荐理由：发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。