15:35
官方账号arXiv cs.LG@Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth
推荐理由：这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。
异步流水线并行
共 1 条相关 AI 资讯
6月30日
15:35
该研究挑战了异步流水线并行中梯度陈旧导致不稳定的普遍假设。论文发现，在PipeDream-2BW调度下，一步延迟的退化强烈依赖于优化器选择：AdamW遭受严重退化，而Muon表现出强鲁棒性。作者提出了一种优化器无关的Error Feedback修正进一步缓解延迟影响，并在高达10B参数的模型上验证了与同步训练的性能差距已被消除。理论分析证明了Muon在有无修正下的收敛性。