#optimization algorithms

26 stories · 2 in 7 days · 7 in 30 days

Muon 3 papers 2 Adam 1 AdaSGDA 1 AdaTask 1 AI safety 1 AlphaEvolve 1 arxiv 1

Stories, products and papers tagged "optimization algorithms", newest first.

Nov 10

Chinese content论文提出 AdaSGDA：用正交化更新与自适应步长改进 minimax 优化稳定性

做 GAN、对抗训练这类 minimax 优化的人应该看看这篇。它用正交化更新加自适应步长，解决了 SGDA 系方法对步长调参极敏感的问题，且 AdaSGDA-VR 的 O(T^-1/3) 收敛率比常见基线更快。

#AdaSGDA #optimization algorithms

arXiv cs.LG@Zhiwei Zhai et al. (5)Source

Nov 9

Chinese contentGMAdam：用任务级二阶矩调制改善 PINN 多任务损失不平衡问题

训练 PINN 时总有一项损失压不住？这篇把 Adam 里各任务的贡献演化讲透了，还给出 GMAdam 这个即插即用的改法，实验里比 AdaTask 更准。

#PINN #Adam #GMAdam #AdaTask

arXiv cs.LG@Enzhan Zheng, Xiaoliang SongSource

Oct 30

Papers Builders10:47

Chinese contentRennala NSGD：超越欧氏几何的异步随机优化算法

这篇论文把 Muon、Shampoo 这类优化器背后的非欧氏几何做了严格理论化，还给出半异步分布式版本的时间复杂度分析，做优化理论研究的话很值得细看。

#Rennala NSGD #Muon #Shampoo #optimization algorithms

arXiv cs.LG@Igor Sokolov et al. (3)Source

Oct 27

Papers Builders12:38

Chinese content演化策略更新的重心几何解释

把演化策略的更新看作物理重心移动，梯度估计突然变得好懂了，做 ES 优化的人可以看看这篇。

#Evolution Strategies #optimization algorithms #interpretability

arXiv cs.AI@Akshat GuptaSource

Oct 20

Chinese contentNewton 双层优化新方法：摆脱下层强凸性限制

双层优化以前要求下层强凸，这篇给了两个 Newton 方法放宽到 Hessian 奇异也能跑，还拿 GPT-2 数据重加权做了实验，搞优化的可以看看。

#bilevel optimization #GALET #GPT-2 #optimization algorithms

arXiv cs.LG@Youran Dong et al. (4)Source

Papers Policy09:29

Chinese contentPair-Aware Optimization 提出 ZO-FO 混合框架，破解 LLM Agent

一篇研究怎么攻击 LLM Agent 的论文，把梯度方法和无梯度方法按顺序组合起来，比单用一种效果好，做安全评测的可以看看。

#jailbreak attacks #LLM Agent #AI safety #optimization algorithms

arXiv cs.AI@Juanyang Xu et al. (5)Source

Chinese contentREP-HO：用 LLM 替代启发式规则规划异构优化的评估分配

这篇论文把 LLM 塞进优化器里当决策规划器，替代人工设计的启发式规则，用 DeepSeek 做的版本在 5 种场景里都进前二，思路挺有意思。

#REP-HO #DeepSeek #LLM #optimization algorithms

arXiv: DeepSeek@Nian Ran et al. (5)Source

Oct 2

Papers Builders10:23

Chinese contentZFO优化框架：大模型微调新方法

MIT团队提出ZFO框架，用更少的计算量解决大模型微调步长选择难题，代码已开源。

#ZFO #fine-tuning #optimization algorithms #language models

arXiv cs.LG@Cristian McGee et al. (3)Source

Oct 1

Papers Builders09:52

Chinese contentNorMuon行归一化研究

NorMuon论文解析了行归一化在理论保证与实践表现间的矛盾，对理解LLM优化很有价值。

#NorMuon #Muon #pretraining #optimization algorithms

arXiv cs.LG@Jiayu Zhang, Tianyi LinSource

Sep 29

Papers Builders14:42

Chinese contentCTP-FL：用共同轨迹梯度预测改进联邦学习通信效率

联邦学习又出新优化思路：让所有客户端沿同一条预测路径算梯度，通信量和 FedAvg-M 一样但聚合方向是无偏的，还附理论收敛证明，做分布式训练的可以看看。

#federated learning #FedAvg #optimization algorithms #papers

arXiv cs.AI@Junkang LiuSource

Chinese contentpdLIP：用学习到的预条件子加速原始-对偶内点法

优化圈的朋友看看这篇：把预条件子交给神经网络学，内点法解非线性规划能省掉 Hessian 和牛顿求解，warm start 直接砍掉六成多迭代。

#pdLIP #optimization algorithms #papers

arXiv cs.LG@Abhinav Madabhushi et al. (3)Source

Sep 18

PapersSelected10:30

Near-Optimal Pure Single-Loop Extragradient Method for Minimax Optimization

This is a significant contribution to the field of optimization algorithms, providing a new method with theoretical guarantees for a specific class of problems.

#optimization algorithms

arXiv cs.LG@Minhao Zhang, Zi XuSource

Sep 17

Papers BuildersSelected09:57

Revisiting Distributed Sign-Based Variance Reduction

For researchers in machine learning, this paper provides a new method to improve the efficiency of distributed training, which is crucial for large-scale model development.

#distributed training #optimization algorithms #arxiv

arXiv cs.LG@Wei Jiang et al. (3)Source

Aug 27

PapersSelected11:02

Muon Optimizer Outperforms Adam in LLM Training

SAMuon reduces training token requirements by 13.3-24.0% compared to Muon, offering significant efficiency gains for researchers and companies training large language models in ASEAN.

#Muon #large language models #optimization algorithms #SAMuon

arXiv cs.LG@Xiaodong Wu et al. (4)Source

Aug 26

Chinese content在线学习和博弈中的最优交替遗憾

这篇论文提出了在线学习和博弈中的最优交替遗憾算法，对于在线线性优化和在线凸优化领域的研究具有重要意义，特别是对于收敛速度和下界的研究。

#online learning #game theory #optimization algorithms

arXiv cs.LG@Yixin Tao, Weiqiang ZhengSource

Aug 18

Chinese content现代优化与AlphaEvolve改进矩阵乘法指数上界

这篇论文用AlphaEvolve把矩阵乘法指数上界刷到2.371177，比原来的2.371339又进一步，算法优化思路值得看看。

#AlphaEvolve #optimization algorithms #machine learning

arXiv cs.LG@Emilien Dupont et al. (10)Source

Jul 28

Chinese content当速率为几何：优化中接触分裂的速率证书传递

这篇论文把连续优化理论的收敛证书精确传递到离散算法，用接触哈密顿系统给出通用框架，二次重球例子很透彻。想理解优化加速机制可以读。

#optimization algorithms

arXiv cs.LG@George A KevrekidisSource

Jul 9

PapersSelected09:46

Chinese content基于黎曼法坐标的Levenberg-Marquardt方法的高阶几何更新

这篇论文提出RNC-LM，解决了LM方法在强曲率问题上的局限，用黎曼法坐标做高阶修正，在PINN和势能面拟合上又准又快。

#Levenberg-Marquardt #RNC-LM #optimization algorithms #PINN

arXiv cs.LG@Jianing Liu, Dong H. ZhangSource

Jul 1

PapersSelected11:04

Chinese contentRandom Reshuffling 理论证明首次超越随机梯度下降

这篇论文终于从理论上证明了机器学习中常用的 Random Reshuffling 比经典 SGD 强，对优化算法感兴趣的朋友值得一看。

#Random Reshuffling #SGD #optimization algorithms

arXiv cs.LG@Zijian LiuSource

Jun 29

Chinese contentBregman ADMM在非凸非Lipschitz优化中的二阶KKT保证

这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点，解决了传统方法无法处理多项式目标的问题，对矩阵分解等应用有实际指导意义。

#Bregman ADMM #KKT #optimization algorithms #non-convex optimization

arXiv cs.LG@Shuang Li et al. (3)Source

Jun 16

Chinese content自适应表示的泛函梯度下降新算法

这篇论文提出了首个可实现的泛函梯度下降算法，能自适应调整梯度表示，理论上有收敛保证，实验上比传统FGD和神经网络更快更准。

#FGD #optimization algorithms #convergence

arXiv cs.LG@Daniel Csillag et al. (6)Source

Jun 15

Chinese contentMuon在重尾非凸优化中的理论优势：最优样本复杂度

Muon为何能训练Transformer？

#Muon #Scion #optimization algorithms #theoretical analysis

arXiv cs.LG@Florian Hübler et al. (3)Source

Jun 10

PapersSelected09:32

Chinese contentRange Penalization：联邦学习中的理论突破与极值聚类新方法

联邦学习团队终于有了一个兼顾理论严谨和实际效率的正则化方案——极值聚类能显著提升模型压缩和通信效率，做分布式系统或资源受限场景的开发者可以直接参考实验设置。

#federated learning #regularization #theoretical analysis #optimization algorithms

arXiv cs.LG@Yiyuan She et al. (3)Source

Jun 2

PapersSelected11:17

Chinese content算法选择模型在真实世界泛化能力评估

做优化算法选型或自动化机器学习的研究者值得关注——这项研究直接点出了学术基准与真实场景的鸿沟，看完能帮你避开模型部署的坑。

#generalization #optimization algorithms

arXiv cs.LG@Gjorgjina Cenikj et al. (4)Source

May 19

PapersSelected11:05

Chinese contentRingmaster LMO：异步线性最小化预言机动量法

分布式训练团队终于有了异步 LMO 方法的理论保障——Ringmaster LMO 解决了异构集群中慢节点拖累效率的问题，做大规模预训练或异构系统优化的开发者值得关注。

#asynchronous training #distributed systems #optimization algorithms #Muon

arXiv cs.LG@Abdurakhmon Sadiev et al. (4)Source

May 14

Chinese contentKarpathy 说“让下降发生”

Karpathy 用一句话点醒了AI社区：别光顾着堆模型，梯度下降才是根本。做训练和优化的开发者看完会有感触，值得停下来想想。

#gradient descent #Karpathy #model training #optimization algorithms

Official accountWeights & Biases@weights_biasesSource