#non-convex optimization

9 stories · 1 in 7 days · 2 in 30 days

SGD 1 diffusion models 1

Stories, products and papers tagged "non-convex optimization", newest first.

Nov 10

Chinese content研究证明学习率衰减可让 SGD 全局优化指数级加速

一篇给学习率调度补上理论根基的论文：作者证明对一类常见非凸函数，衰减学习率的 SGD 比固定学习率少指数级多的梯度查询，靠的是弱 Poincaré 不等式加退火采样。做优化理论或调参的读者值得看证明思路。

#SGD #non-convex optimization

arXiv cs.LG@Guneykan Ozgul et al. (5)Source

Nov 3

PapersMulti-source15:38

Chinese content非凸分布采样新算法：超越对数凹性的近端采样复杂度分析

理论向的文章：作者改进了近端采样器在非凸密度下的查询复杂度，LSI 条件下得到次多项式查询上界，还证明了 PI 情形的 oracle 下界。做采样理论的朋友可以看看证明思路。

#non-convex optimization

arXiv: OpenAI@Wei Guo et al. (6)Source

Sep 28

Chinese content反向扩散的一阶平稳性理论

一篇把扩散采样和非凸优化联系起来的理论论文，证明了反向 SDE 流在强凸势下的指数收缩速率，做扩散模型理论方向的朋友可以看看。

#diffusion models #non-convex optimization

arXiv cs.LG@Zhifeng Chen et al. (3)Source

Aug 7

ModelsSelected12:25

Chinese contentSG-TULA：非凸非光滑采样的驯化次梯度算法

新采样算法SG-TULA能处理非光滑非凸问题，在GPT-2预训练上干赢了AdamW和Muon，还带理论保证。

#SG-TULA #GPT-2 #non-convex optimization

arXiv cs.LG@Iosif Lytras et al. (3)Source

Jul 29

PapersSelected10:00

Chinese contentMC-ALFCG：马尔可夫采样下非凸复合优化的方差缩减条件梯度方法

这篇论文搞了个新方法MC-ALFCG，专门对付马尔可夫链采样下的非凸优化，理论复杂度给得很细，数值实验也做了，搞优化算法的可以看看。

#MC-ALFCG #non-convex optimization

arXiv cs.LG@Zhaojun PengSource

Jun 29

Chinese contentBregman ADMM在非凸非Lipschitz优化中的二阶KKT保证

这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点，解决了传统方法无法处理多项式目标的问题，对矩阵分解等应用有实际指导意义。

#Bregman ADMM #KKT #optimization algorithms #non-convex optimization

arXiv cs.LG@Shuang Li et al. (3)Source

Jun 23

Chinese content面向重尾梯度噪声和通信噪声的联邦学习：基于方差缩减的算法

这篇论文搞了个VRA-FedSGD，专门对付联邦学习里常见的重尾噪声，收敛速度有理论保证，实验也跑通了，值得看看。

#VRA-FedSGD #federated learning #heavy-tailed noise #non-convex optimization

arXiv cs.LG@Shengchao Zhao, Yongchao LiuSource

Jun 15

Chinese contentMuon在重尾非凸优化中的理论优势：最优样本复杂度

Muon为何能训练Transformer？

#Muon #Scion #optimization algorithms #theoretical analysis

arXiv cs.LG@Florian Hübler et al. (3)Source

May 19

PapersSelected14:49

Chinese contentAdaGrad 在重尾噪声下收敛性首次证明

理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证，做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健，且无需额外操作。

#AdaGrad #heavy-tailed noise #convergence analysis #non-convex optimization

arXiv cs.LG@Zijian LiuSource