#decentralized optimization

搞分布式训练的可以看看这篇：它证明了裁剪过的去中心化 SGD 在重尾噪声下收敛率最优，还首次给出了线性加速证明，并解释了为什么裁剪比归一化更适合去中心化场景。

一篇去中心化优化的理论论文，提出 GATE 算法，把图拆成树分块来做消息传递，收敛率和图结构直接挂钩，做分布式优化的可以看看。

去中心化学习研究者终于有了理论最优的随机算法——MG-ADSGD同时加速了条件数和网络拓扑的影响，做分布式优化或联邦学习的团队值得关注这个新基准。