重尾噪声相关 AI 资讯 · AI 热点

7月30日

09:28

09:28

官方账号arXiv cs.LG@Vaneet Aggarwal

该论文针对重尾噪声下的非平稳在线凸优化问题，其中随机梯度仅存在有限p阶中心矩(p∈(1,2])。研究者提出HT-PAder算法，通过结合重启AdaGrad专家和路径元算法AdaGrad-Hedge实现参数无关的通用动态遗憾。HT-PAder在直径D、Lipschitz常数G、噪声水平σ和比较器路径长度P_T下达到期望遗憾界Õ(GD√(T(1+P_T/D)) + σD T^{1/p}(1+P_T/D)^{(p-1)/p})，无需任何先验参数知识。即使p=2时，这也是首个无参数极小极大通用动态遗憾保证，并证明了匹配的下界。

论文 HT-PAder AdaGrad 在线凸优化

推荐理由：这篇论文提出了HT-PAder算法，不用提前知道任何参数就能在重尾噪声下做动态优化，比以往方法更通用，理论结果也很强。

6月23日

13:15

13:15

官方账号arXiv cs.AI@Dingzhi Yu, Hongyi Tao, Yuanyu Wan, Luo Luo, Lijun Zhang

AdamW是训练大型语言模型的默认优化器，但其理论主要建立在有限方差假设上。实证发现LLM预训练中的随机梯度噪声通常是重尾的。近期Lion、Muon等符号优化器已取得重尾收敛率，AdaGrad也能在重尾噪声下收敛。本文提出一个开放问题：AdamW能否在相同重尾假设下收敛？作者证明了一个正加权度量基准，并通过走廊下界机制表明分母记忆可能隐藏大梯度。

论文 AdamW LLM 重尾噪声

推荐理由：AdamW天天用但理论有坑，这篇论文把收敛性列为开放问题，还给出了新分析框架。做LLM训练优化的人该看看。

10:34

10:34

官方账号arXiv cs.LG@Shengchao Zhao, Yongchao Liu

论文提出VRA-FedSGD算法，针对联邦学习中重尾梯度噪声和通信噪声问题。该算法采用动量方差缩减配合非线性映射减轻重尾梯度噪声，并使用方差缩减聚合机制抑制重尾通信噪声。在非凸目标函数下，均方收敛率为O(K^{-(p-1)/(2p-1)})，其中p为尾指数；在强凸目标函数下，几乎必然收敛率为O~(K^{-(1-1/(p-ε))})。在逻辑回归问题上的仿真实验验证了算法有效性。

论文 VRA-FedSGD 联邦学习方差缩减

推荐理由：这篇论文搞了个VRA-FedSGD，专门对付联邦学习里常见的重尾噪声，收敛速度有理论保证，实验也跑通了，值得看看。

5月19日

14:49

14:49

官方账号arXiv cs.LG@Zijian Liu

精选

现代机器学习优化中常出现重尾梯度噪声，传统方法需梯度裁剪或归一化来保证收敛。本文首次证明 AdaGrad（自适应梯度方法的起源）在非凸优化中，当尾指数 p 满足 4/3 < p ≤ 2 时无需任何算法修改即可收敛，且无需预先知道 p 值。研究还给出了算法相关的下界，表明 AdaGrad 无法达到重尾优化的最优 minimax 速率。对于 AdaGrad-Norm 变体，在额外温和假设下，收敛率可推广到任意 1 < p ≤ 2。

论文 AdaGrad 重尾噪声收敛性分析

推荐理由：理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证，做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健，且无需额外操作。