MoE训练相关 AI 资讯 · AI 热点

8月5日

05:12

05:12

eric zakariasson@ericzakariasson

精选72°

Cursor宣布开源Mixture-of-Kittens (MoK)，这是一个面向NVL72的MoE训练megakernel。MoK将专家混合的所有通信与计算融合进单个确定性内核，相比最强公开基线提速最高2.37倍。该内核专为NVL72集群设计，用于提升大规模MoE训练效率。

AI模型 Cursor MoK NVL72

推荐理由：Cursor开源了MoK内核，把MoE训练的通信和计算合成一个内核，跑得比公开基线快2.37倍，搞NVL72训练的可以看看。

5月25日

11:32

11:32

官方一手arXiv: DeepSeek@Zewen Jin, Congkun Ai, Guangpeng Zhang, Hanbo Zhang, Haoran Wang, Shihan Xiao, Da Lei, Xuefeng Jin, Teng Su, Cheng Li

精选

本文提出了HyperParallel-MoE，一个针对昇腾NPU的MoE训练编译与调度框架。现有框架在昇腾NPU上串行执行MoE算子，未能充分利用其异构计算资源（矩阵AIC和向量AIV）。HyperParallel-MoE将算子级执行转化为静态调度的tile级异构任务流，通过AIV驱动单边通信消除主机侧同步，并实现通信与计算在单个内核启动内的细粒度重叠。在MindSpore和MindFormers栈中实现，基于DeepSeek风格MoE模型在昇腾A3集群上测试，将Dispatch-to-Combine的MoE-FFN延迟最多降低1.58倍。这项工作表明tile级异构调度能显著提升现代NPU上的MoE训练效率。

论文 MoE训练昇腾NPU 异构调度

推荐理由：对于在昇腾NPU上训练大规模MoE模型的团队，HyperParallel-MoE通过细粒度异构调度解决了通信与计算重叠不足的痛点，实测延迟降低1.58倍，值得关注并尝试集成到现有框架中。