PapersOfficial5月13日 21:36

Moonshot AI 发布 Muon 优化器大规模训练实践报告

技术报告：Muon 优化器的首次大规模训练实践

Primary sourceMoonshot AI: Kimi Blog

News· 2 sources

Read the original

Why we picked it

Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。

Moonshot AI 发布了关于 Muon 优化器的首次大规模训练实践技术报告。Muon 是一种基于矩阵正交化的优化器，旨在提升大模型训练效率。

Moonshot AI 发布 Muon 优化器大规模训练实践报告 — Image · Moonshot AI: Kimi Blog

Body

报告详细介绍了 Muon 在 1B 到 7B 参数模型上的训练效果，显示其在收敛速度和最终性能上优于 AdamW。该工作为大规模深度学习训练提供了新的优化器选择，尤其对计算资源有限的团队具有参考价值。

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Muon优化器, 大规模训练, Moonshot AI, 优化器.

Primary source verification: published directly by Moonshot AI: Kimi Blog with first-party authority. Cross-source corroboration: 2 independent sources have covered this development (including berryxia), confirming industry-wide signal strength.

berryxia05-14 01:20Source

#Muon优化器 #大规模训练 #Moonshot AI #优化器 #技术报告

Keep reading

Recent stories with the same tag or section

Chinese content反馈对齐中的秩坍缩问题及解决方案

这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学，并给出了可落地的解决方案（Muon+归一化）。做生物启发学习或替代反向传播研究的团队值得关注，实验方法可以直接复现。

#反馈对齐 #秩坍缩 #Muon优化器 #正交化

arXiv cs.LG@Gauthier Boeshertz et al. (3)Source

PapersSelected11:24

Chinese contentMuon优化器的哈密顿概率梯度流视角

这篇论文为Muon优化器提供了严格的数学基础，揭示了其与哈密顿动力学的深层联系。对优化理论研究者或想深入理解Muon工作机制的深度学习从业者，值得细读。

#Muon优化器 #概率梯度流 #哈密顿动力学 #平均场理论

arXiv cs.LG@Aratrika Mustafi et al. (3)Source

Papers BuildersMulti-source14:24

Chinese contentBeyond Word Error Rate：流式听写 ASR 的失败分类研究

这篇论文把 11 个 ASR 系统的错误按四个层级逐条分类，发现 WER 相近的产品在耳语场景下表现天差地别。如果你在做语音输入或听写功能，Silero VAD 会把 Whisper 的耳语 WER 从 10.1% 推到 51.4% 这个结论直接关系到你的技术选型，全部数据集也开源了。

#ASR #Whisper #Silero VAD #语音识别

arXiv: OpenAI@Harras Mansoor et al. (4)Source

Papers Builders14:10

Chinese content研究拆解多模态视觉编码三大设计选择：视觉先验并非必需

做视觉模型的开发者该看看这篇。它用统一数据和算力做对照实验，证明从头联合训练编码器不输预训练方案，视觉模块放进骨干前几层还能降低首 token 延迟，能直接指导你砍掉一条训练管线。

#多模态 #VQA #视觉编码器 #预训练

arXiv cs.LG@Ellis Brown et al. (12)Source

Papers Builders14:10

Chinese contentArchSpace：记录、评审和引用 LLM 架构研究的公开平台

学术圈的架构实验常常算力不够、基线也对不上，这个平台用 scaling laws 让小实验先预测大模型的表现，还直接给了 Qwen3.5 和 OLMo3 基线。做模型架构研究的同学可以上去提交提案或复现别人被验证过的想法，不用每次都从头造轮子。

#ArchSpace #Qwen3.5 #OLMo3 #scaling laws

arXiv cs.LG@Jie Wang et al. (11)Source

Papers Builders14:10

Chinese content神经符号强化学习方法用于投资组合合规分配

机构组合必须遵守投资授权规则，普通RL动不动就违规。这篇论文把六条合规规则学进策略里，违规率从96-98%降到4.8%，不需要事后拦截。做量化、资管或RL合规应用的人都该看看这套蒙特卡洛采样思路。

#强化学习 #神经符号 #量化投资 #PLPG

arXiv cs.LG@Zeynep Yıldız et al. (4)Source