精选理由
这篇论文搞了个VRA-FedSGD，专门对付联邦学习里常见的重尾噪声，收敛速度有理论保证，实验也跑通了，值得看看。
论文提出VRA-FedSGD算法，针对联邦学习中重尾梯度噪声和通信噪声问题。该算法采用动量方差缩减配合非线性映射减轻重尾梯度噪声，并使用方差缩减聚合机制抑制重尾通信噪声。在非凸目标函数下，均方收敛率为O(K^{-(p-1)/(2p-1)})，其中p为尾指数；在强凸目标函数下，几乎必然收敛率为O~(K^{-(1-1/(p-ε))})。在逻辑回归问题上的仿真实验验证了算法有效性。
AI 翻译 · 中文
论文提出VRA-FedSGD算法，针对联邦学习中重尾梯度噪声和通信噪声问题。该算法采用动量方差缩减配合非线性映射减轻重尾梯度噪声，并使用方差缩减聚合机制抑制重尾通信噪声。在非凸目标函数下，均方收敛率为O(K^{-(p-1)/(2p-1)})，其中p为尾指数；在强凸目标函数下，几乎必然收敛率为O~(K^{-(1-1/(p-ε))})。在逻辑回归问题上的仿真实验验证了算法有效性。
Federated learning (FL) is an emerging distributed machine learning paradigm that enables local devices to jointly train a global model while keeping data decentralized and private. We propose a variance-reduction based …