#初始化

想搞懂Transformer为什么深了还能训练？这篇从秩角度拆解跳接、归一化、双矩阵的设计逻辑，比堆实验更透彻。

发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。