09:28
官方账号arXiv cs.LG@Vaneet Aggarwal
推荐理由：这篇论文提出了HT-PAder算法，不用提前知道任何参数就能在重尾噪声下做动态优化，比以往方法更通用，理论结果也很强。
AdaGrad
共 2 条相关 AI 资讯
7月30日
09:28
该论文针对重尾噪声下的非平稳在线凸优化问题，其中随机梯度仅存在有限p阶中心矩(p∈(1,2])。研究者提出HT-PAder算法，通过结合重启AdaGrad专家和路径元算法AdaGrad-Hedge实现参数无关的通用动态遗憾。HT-PAder在直径D、Lipschitz常数G、噪声水平σ和比较器路径长度P_T下达到期望遗憾界Õ(GD√(T(1+P_T/D)) + σD T^{1/p}(1+P_T/D)^{(p-1)/p})，无需任何先验参数知识。即使p=2时，这也是首个无参数极小极大通用动态遗憾保证，并证明了匹配的下界。
5月19日
14:49
14:49
官方账号arXiv cs.LG@Zijian Liu
精选
推荐理由：理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证，做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健，且无需额外操作。