Chinese contentSonar-MoE：在反向传播中更新专家参数，降低 MoE 训练显存
论文讲了个省显存的训练技巧：专家参数反向传播时就地更新，微调 OLMoE 这类 MoE 模型显存省约两成，速度还更快。
#Sonar-MoE
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Sonar-MoE", newest first.
Nov 3
论文讲了个省显存的训练技巧：专家参数反向传播时就地更新，微调 OLMoE 这类 MoE 模型显存省约两成，速度还更快。