#heavy-tailed noise

5 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "heavy-tailed noise", newest first.

Oct 8

Papers Builders11:47

Chinese content研究证明带梯度裁剪的去中心化 SGD 在重尾噪声下可达到最优收敛率

搞分布式训练的可以看看这篇：它证明了裁剪过的去中心化 SGD 在重尾噪声下收敛率最优，还首次给出了线性加速证明，并解释了为什么裁剪比归一化更适合去中心化场景。

#DSGD #heavy-tailed noise #SGD

arXiv cs.LG@Aleksandar Armacki et al. (3)Source

Jul 30

Chinese content重尾噪声下在线凸优化的无参数动态遗憾

这篇论文提出了HT-PAder算法，不用提前知道任何参数就能在重尾噪声下做动态优化，比以往方法更通用，理论结果也很强。

#HT-PAder #AdaGrad #heavy-tailed noise

arXiv cs.LG@Vaneet AggarwalSource

Jun 23

Chinese content开放问题：AdamW在重尾噪声下是否有效？

AdamW天天用但理论有坑，这篇论文把收敛性列为开放问题，还给出了新分析框架。做LLM训练优化的人该看看。

#AdamW #LLM #heavy-tailed noise

arXiv cs.AI@Dingzhi Yu et al. (5)Source

Chinese content面向重尾梯度噪声和通信噪声的联邦学习：基于方差缩减的算法

这篇论文搞了个VRA-FedSGD，专门对付联邦学习里常见的重尾噪声，收敛速度有理论保证，实验也跑通了，值得看看。

#VRA-FedSGD #federated learning #heavy-tailed noise #non-convex optimization

arXiv cs.LG@Shengchao Zhao, Yongchao LiuSource

May 19

PapersSelected14:49

Chinese contentAdaGrad 在重尾噪声下收敛性首次证明

理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证，做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健，且无需额外操作。

#AdaGrad #heavy-tailed noise #convergence analysis #non-convex optimization

arXiv cs.LG@Zijian LiuSource