11:32arXiv: DeepSeek@Zewen Jin, Congkun Ai, Guangpeng Zhang, Hanbo Zhang, Haoran Wang, Shihan Xiao, Da Lei, Xuefeng Jin, Teng Su, Cheng Li精选本文提出了HyperParallel-MoE,一个针对昇腾NPU的MoE训练编译与调度框架。现有框架在昇腾NPU上串行执行MoE算子,未能充分利用其异构计算资源(矩阵AIC和向量AIV)。HyperParallel-MoE将算子级执行转化为静态调度的tile级异构任务流,通过AIV驱动单边通信消除主机侧同步,并实现通信与计算在单个内核启动内的细粒度重叠。在MindSpore和MindFormers栈中实现,基于DeepSeek风格MoE模型在昇腾A3集群上测试,将Dispatch-to-Combine的MoE-FFN延迟最多降低1.58倍。这项工作表明tile级异构调度能显著提升现代NPU上的MoE训练效率。论文MoE训练昇腾NPU异构调度编译优化MindSpore推荐理由:对于在昇腾NPU上训练大规模MoE模型的团队,HyperParallel-MoE通过细粒度异构调度解决了通信与计算重叠不足的痛点,实测延迟降低1.58倍,值得关注并尝试集成到现有框架中。原文