10:34arXiv cs.LG@Shengchao Zhao, Yongchao Liu论文提出VRA-FedSGD算法,针对联邦学习中重尾梯度噪声和通信噪声问题。该算法采用动量方差缩减配合非线性映射减轻重尾梯度噪声,并使用方差缩减聚合机制抑制重尾通信噪声。在非凸目标函数下,均方收敛率为O(K^{-(p-1)/(2p-1)}),其中p为尾指数;在强凸目标函数下,几乎必然收敛率为O~(K^{-(1-1/(p-ε))})。在逻辑回归问题上的仿真实验验证了算法有效性。论文VRA-FedSGD联邦学习方差缩减重尾噪声非凸优化推荐理由:这篇论文搞了个VRA-FedSGD,专门对付联邦学习里常见的重尾噪声,收敛速度有理论保证,实验也跑通了,值得看看。原文