#优化算法

共 19 条 · 7 天 0 条 · 30 天 6 条

Muon 2 论文 2 AlphaEvolve 1 arxiv 1 distributed training 1 FedAvg 1 LLM预训练 1 NorMuon 1

信息流里打上「优化算法」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月2日

论文 Agent 与开发者10:23

ZFO优化框架：大模型微调新方法

MIT团队提出ZFO框架，用更少的计算量解决大模型微调步长选择难题，代码已开源。

#ZFO #大模型微调 #优化算法 #语言模型

arXiv cs.LG@Cristian McGee 等 3 人原文

10月1日

论文 Agent 与开发者09:52

NorMuon行归一化研究

NorMuon论文解析了行归一化在理论保证与实践表现间的矛盾，对理解LLM优化很有价值。

#NorMuon #Muon #行归一化 #LLM预训练

arXiv cs.LG@Jiayu Zhang, Tianyi Lin原文

9月29日

论文 Agent 与开发者14:42

CTP-FL：用共同轨迹梯度预测改进联邦学习通信效率

联邦学习又出新优化思路：让所有客户端沿同一条预测路径算梯度，通信量和 FedAvg-M 一样但聚合方向是无偏的，还附理论收敛证明，做分布式训练的可以看看。

#联邦学习 #FedAvg #优化算法 #论文

arXiv cs.AI@Junkang Liu原文

论文12:59

pdLIP：用学习到的预条件子加速原始-对偶内点法

优化圈的朋友看看这篇：把预条件子交给神经网络学，内点法解非线性规划能省掉 Hessian 和牛顿求解，warm start 直接砍掉六成多迭代。

#pdLIP #内点法 #优化算法 #论文

arXiv cs.LG@Abhinav Madabhushi 等 3 人原文

9月18日

论文精选10:30

提出一种单循环外梯度方法解决强凸-强凹极小极大优化问题

学术研究者可以看看这篇论文，提出了一种新的优化方法，理论证明很扎实，数值实验也验证了效果。

#极小极大优化 #外梯度法 #优化算法 #数学优化

arXiv cs.LG@Minhao Zhang, Zi Xu原文

9月17日

论文 Agent 与开发者精选09:57

论文提出新方法解决分布式环境中的梯度聚合偏差问题

这篇论文对分布式训练算法感兴趣的朋友会喜欢，它提出的新方法解决了现有技术中存在的聚合偏差问题，能提升训练效率。

#distributed training #梯度聚合 #优化算法 #arxiv

arXiv cs.LG@Wei Jiang 等 3 人原文

8月27日

论文精选11:02

Spectral Allocation: Muon超越Adam，如何改进Muon

这篇论文揭示了为什么Muon优于Adam，并提出了改进方案SAMuon，值得AI模型研究者关注。

#Muon #谱分配 #大语言模型 #优化算法

arXiv cs.LG@Xiaodong Wu 等 4 人原文

8月26日

论文10:22

在线学习和博弈中的最优交替遗憾

这篇论文提出了在线学习和博弈中的最优交替遗憾算法，对于在线线性优化和在线凸优化领域的研究具有重要意义，特别是对于收敛速度和下界的研究。

#在线学习 #博弈论 #优化算法 #收敛速度

arXiv cs.LG@Yixin Tao, Weiqiang Zheng原文

8月18日

论文10:39

现代优化与AlphaEvolve改进矩阵乘法指数上界

这篇论文用AlphaEvolve把矩阵乘法指数上界刷到2.371177，比原来的2.371339又进一步，算法优化思路值得看看。

#AlphaEvolve #矩阵乘法指数 #优化算法 #机器学习

arXiv cs.LG@Emilien Dupont 等 10 人原文

7月28日

论文09:35

当速率为几何：优化中接触分裂的速率证书传递

这篇论文把连续优化理论的收敛证书精确传递到离散算法，用接触哈密顿系统给出通用框架，二次重球例子很透彻。想理解优化加速机制可以读。

#接触哈密顿系统 #优化算法 #收敛分析 #速率证书传递

arXiv cs.LG@George A Kevrekidis原文

7月9日

论文精选09:46

基于黎曼法坐标的Levenberg-Marquardt方法的高阶几何更新

这篇论文提出RNC-LM，解决了LM方法在强曲率问题上的局限，用黎曼法坐标做高阶修正，在PINN和势能面拟合上又准又快。

#Levenberg-Marquardt #RNC-LM #非线性最小二乘 #优化算法

arXiv cs.LG@Jianing Liu, Dong H. Zhang原文

7月1日

论文精选11:04

Random Reshuffling 理论证明首次超越随机梯度下降

这篇论文终于从理论上证明了机器学习中常用的 Random Reshuffling 比经典 SGD 强，对优化算法感兴趣的朋友值得一看。

#Random Reshuffling #SGD #优化算法 #理论证明

arXiv cs.LG@Zijian Liu原文

6月29日

论文10:15

Bregman ADMM在非凸非Lipschitz优化中的二阶KKT保证

这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点，解决了传统方法无法处理多项式目标的问题，对矩阵分解等应用有实际指导意义。

#Bregman ADMM #KKT #优化算法 #非凸优化

arXiv cs.LG@Shuang Li 等 3 人原文

6月16日

模型11:07

自适应表示的泛函梯度下降新算法

这篇论文提出了首个可实现的泛函梯度下降算法，能自适应调整梯度表示，理论上有收敛保证，实验上比传统FGD和神经网络更快更准。

#FGD #自适应表示 #优化算法 #收敛性

arXiv cs.LG@Daniel Csillag 等 6 人原文

6月15日

论文11:11

Muon在重尾非凸优化中的理论优势：最优样本复杂度

Muon为何能训练Transformer？

#Muon #Scion #优化算法 #理论分析

arXiv cs.LG@Florian Hübler 等 3 人原文

6月10日

论文精选09:32

Range Penalization：联邦学习中的理论突破与极值聚类新方法

联邦学习团队终于有了一个兼顾理论严谨和实际效率的正则化方案——极值聚类能显著提升模型压缩和通信效率，做分布式系统或资源受限场景的开发者可以直接参考实验设置。

#联邦学习 #正则化 #极值聚类 #理论分析

arXiv cs.LG@Yiyuan She 等 3 人原文

6月2日

论文精选11:17

算法选择模型在真实世界泛化能力评估

做优化算法选型或自动化机器学习的研究者值得关注——这项研究直接点出了学术基准与真实场景的鸿沟，看完能帮你避开模型部署的坑。

#算法选择 #泛化能力 #优化算法 #机器人轨迹优化

arXiv cs.LG@Gjorgjina Cenikj 等 4 人原文

5月19日

论文精选11:05

Ringmaster LMO：异步线性最小化预言机动量法

分布式训练团队终于有了异步 LMO 方法的理论保障——Ringmaster LMO 解决了异构集群中慢节点拖累效率的问题，做大规模预训练或异构系统优化的开发者值得关注。

#异步训练 #分布式系统 #优化算法 #Muon

arXiv cs.LG@Abdurakhmon Sadiev 等 4 人原文

5月14日

行业13:36

Karpathy 说“让下降发生”

Karpathy 用一句话点醒了AI社区：别光顾着堆模型，梯度下降才是根本。做训练和优化的开发者看完会有感触，值得停下来想想。

#梯度下降 #Karpathy #AI训练 #优化算法

官方账号Weights & Biases@weights_biases原文