14:49arXiv cs.LG@Zijian Liu精选现代机器学习优化中常出现重尾梯度噪声,传统方法需梯度裁剪或归一化来保证收敛。本文首次证明 AdaGrad(自适应梯度方法的起源)在非凸优化中,当尾指数 p 满足 4/3 < p ≤ 2 时无需任何算法修改即可收敛,且无需预先知道 p 值。研究还给出了算法相关的下界,表明 AdaGrad 无法达到重尾优化的最优 minimax 速率。对于 AdaGrad-Norm 变体,在额外温和假设下,收敛率可推广到任意 1 < p ≤ 2。论文AdaGrad重尾噪声收敛性分析非凸优化自适应梯度方法推荐理由:理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证,做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健,且无需额外操作。原文