#LLM预训练

共 5 条 · 7 天 0 条 · 30 天 2 条

信息流里打上「LLM预训练」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月1日

NorMuon论文解析了行归一化在理论保证与实践表现间的矛盾，对理解LLM优化很有价值。

arXiv cs.LG@Jiayu Zhang, Tianyi Lin原文

9月29日

训练大模型的朋友可以看看这个 Muon 改进版，行列一起均衡还省优化器显存，收敛比 AdamW 更好。

arXiv cs.LG@Chang-Wei Shi 等 3 人原文

6月30日

这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。

arXiv cs.LG@Philip Zmushko 等 5 人原文

6月10日

论文精选11:26

GASLoC解决了分布式LLM训练中通信效率与异构带宽的痛点，做大规模模型预训练的团队可以直接参考实验对比，看看能否替代现有方案。

arXiv cs.AI@Pietro Cagnasso 等 3 人原文

5月25日

论文精选72°11:25

做LLM预训练或知识蒸馏的团队，这篇论文直接挑战了“教师越强越好”的默认假设，看完可能会重新设计你的蒸馏策略，值得细读。

arXiv cs.LG@Taiming Lu, Zhuang Liu原文