#大规模训练

共 4 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「大规模训练」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月24日

模型多源确认01:04

StanfordAILab发布了Marin 535B-A23B模型的训练消息，这是他们迄今为止最大的训练项目，值得关注。

Stanford AI Lab@StanfordAILab4 个信源在谈原文

7月27日

模型中美对照多源确认精选78°11:01

NVIDIA找到AdamW的短板了，批量干到1亿tokens它就崩，但SOAP和Muon依然稳，还解决了训练崩溃的毛病，训大模型可以看看这个。

elvis@omarsar04 个信源在谈原文

5月18日

论文精选12:09

多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。

arXiv cs.AI@Yishun Lu, Wes Armour原文

5月13日

论文中美对照官方一手21:36

Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。

官方一手Moonshot AI: Kimi Blog2 个信源在谈原文