#DSGD

搞分布式训练的可以看看这篇：它证明了裁剪过的去中心化 SGD 在重尾噪声下收敛率最优，还首次给出了线性加速证明，并解释了为什么裁剪比归一化更适合去中心化场景。