论文15:35
One-Step Gradient Delay不是大规模异步流水线并行LLM预训练的障碍这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。
#PipeDream-2BW
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「PipeDream-2BW」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月30日
这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。