09:09
官方账号arXiv cs.LG@Shuchen Zhu, Yuxin Fang, Mingze Wang, Kun Yuan
精选73°
推荐理由：新方法让Muon优化器在LLM预训练中跑得更快，尤其擅长沿着平坦方向加速训练。
曲率条件
共 1 条相关 AI 资讯
8月31日
09:09
研究人员提出了一种曲率条件多尺度动量方法，结合球面约束技术，显著提升了LLM预训练效率。该方法在密集和MoE架构、0.12B至2.3B参数规模的模型上都加速了Muon优化器。多尺度动量在平坦方向上结合慢衰减和快衰减组件，分别用于降噪和快速曲率适应。