Chinese contentStanfordAILab发布Marin 535B-A23B模型训练消息
StanfordAILab发布了Marin 535B-A23B模型的训练消息，这是他们迄今为止最大的训练项目，值得关注。
#large-scale training
4 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "large-scale training", newest first.
Aug 24
Jul 27
Chinese contentNVIDIA新研究：AdamW存在规模上限，SOAP和Muon在大规模训练中更优
NVIDIA找到AdamW的短板了，批量干到1亿tokens它就崩，但SOAP和Muon依然稳，还解决了训练崩溃的毛病，训大模型可以看看这个。
May 18
Chinese contentML-FOP-SOAP：二阶优化器解决多模态模型模态竞争问题
多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。
May 13
Chinese contentMoonshot AI 发布 Muon 优化器大规模训练实践报告
Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。