#超参数迁移

做大规模MoE模型训练的团队终于有了可靠的超参数迁移方案——不用为每个专家配置重新调参，直接复用密集模型的超参数即可，建议做预训练优化的点开看看。

做 LLM 训练调参的团队会关心——嵌入层学习率是 μP 优势的关键，直接放大 SP 的嵌入层学习率就能获得类似效果，值得在实验中验证。