LLM预训练相关 AI 资讯 · AI 热点

6月30日

15:35

15:35

官方账号arXiv cs.LG@Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth

该研究挑战了异步流水线并行中梯度陈旧导致不稳定的普遍假设。论文发现，在PipeDream-2BW调度下，一步延迟的退化强烈依赖于优化器选择：AdamW遭受严重退化，而Muon表现出强鲁棒性。作者提出了一种优化器无关的Error Feedback修正进一步缓解延迟影响，并在高达10B参数的模型上验证了与同步训练的性能差距已被消除。理论分析证明了Muon在有无修正下的收敛性。

论文 PipeDream-2BW Muon AdamW 异步流水线并行 LLM预训练

推荐理由：这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。

6月10日

11:26

11:26

官方账号arXiv cs.AI@Pietro Cagnasso, Eugene Belilovsky, Edouard Oyallon

精选

GASLoC是一种新型去中心化预训练算法，旨在解决LLM训练中通信效率低下的问题。传统方法依赖同步All-Reduce操作，在带宽或工作速度不均时成为瓶颈。GASLoC通过将通信加速泛化到“外部优化器”，实现了兼容自适应优化器、支持本地优化步骤和稀疏随机通信的实用gossip训练框架。实验表明，在单步通信设置下，GASLoC在多种拓扑结构中优于现有去中心化算法；在多步本地更新时，性能与DiLoCo相当，且在异构带宽场景下显著超越DiLoCo。

论文去中心化训练通信效率 LLM预训练 GASLoC DiLoCo

推荐理由：GASLoC解决了分布式LLM训练中通信效率与异构带宽的痛点，做大规模模型预训练的团队可以直接参考实验对比，看看能否替代现有方案。

5月25日

11:25

11:25

官方账号arXiv cs.LG@Taiming Lu, Zhuang Liu

精选72°

这篇论文挑战了知识蒸馏中“强教师才能教出好学生”的传统观念。研究发现，在LLM预训练阶段，即使使用较小或训练不足的弱教师模型，通过合理混合语言建模和蒸馏损失，也能提升更大的学生模型。相反，更强的教师（更多参数或更多训练数据）可能导致蒸馏收益饱和甚至下降。此外，蒸馏在提升泛化能力（如分布外和下游任务表现）方面比在领域内拟合更有效。这些结果颠覆了蒸馏预训练必须依赖强教师的普遍认知。

论文知识蒸馏 LLM预训练弱到强蒸馏泛化能力损失函数设计

推荐理由：做LLM预训练或知识蒸馏的团队，这篇论文直接挑战了“教师越强越好”的默认假设，看完可能会重新设计你的蒸馏策略，值得细读。