10:32
arXiv cs.LG@Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Sergei Kudriashov, Maxim Rakhuba
推荐理由：想优化张量参数？这篇论文把Muon优雅地推广到高阶张量，实验比Adam更稳健。
全部 AI 动态
AI 相关资讯全量信息流
6月25日
10:32
Muon优化器通过谱范数约束执行最速下降，但仅适用于矩阵。Tensorion将这一方法扩展到高阶张量，基于线性最小化预言机（LMO）在张量范数球上进行优化。其LMO通过自适应选择展开矩阵可高效计算，且当限制为二阶张量时精确恢复Muon。在张量计算机视觉任务中，Tensorion相比Adam和现有张量感知基线展现出更优的收敛行为与更稳定的梯度更新。
10:31
10:31
arXiv cs.LG@Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi
推荐理由：这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。
6月16日
20:46
AITOP6月16日 20:46
11:04
11:04
arXiv cs.LG@Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang
推荐理由：Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。
6月15日
11:11
11:11
arXiv cs.LG@Florian Hübler, Thomas Pethick, Suvrit Sra
推荐理由：Muon为何能训练Transformer？
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月9日
11:02
11:02
arXiv cs.AI@Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang
精选72°
推荐理由：Muon 优化器在鲁棒性和迁移性上全面超越 Adam，做预训练或迁移学习的团队值得关注，尤其是需要模型对噪声和下游任务更鲁棒的场景。
6月3日
10:28
10:28
arXiv cs.LG@Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao
推荐理由：做LLM训练或优化器研究的团队，这篇论文把Muon动量从玄学变成了可解释的频谱滤波机制，看完能直接指导你调参——先降噪再正交化，效果更稳。
5月20日
10:11
10:11
arXiv cs.AI@Thomas Massena, Corentin Friedrich, Mathieu Serrurier
精选
推荐理由：这篇论文解决了优化器几何结构固定、无法适应问题几何的问题，做深度学习训练和优化器研究的开发者可以直接参考其自适应方法，有望提升模型训练效率。
5月19日
11:05
11:05
arXiv cs.LG@Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik
精选
推荐理由：分布式训练团队终于有了异步 LMO 方法的理论保障——Ringmaster LMO 解决了异构集群中慢节点拖累效率的问题，做大规模预训练或异构系统优化的开发者值得关注。