AITOP

专家并行

共 5 条相关 AI 资讯
8月14日
12:29
12:29官方一手arXiv: DeepSeek@Jie Li, Chenxin Jia, Jinliang Shen, Cunzhuang Liu, Ruiyi Ding, Jianwen Xian, Kang He, Chengru Song
论文在专家并行MoE服务中发现，GPU吞吐量并不由token数或激活专家数单独决定：约156-168 token以下是显存权重流主导，以上则按128-tile对M维度取整。据此提出TEMPO调度器，将每批调度建模为固定费用makespan问题，在毫秒级求解；在8卡Testbed A上，相对最优固定基线最多提升15.5%，其余场景差距在1%以内。端到端测试中，Qwen3-235B吞吐提升4-6%、p99延迟降低约15.6%，DeepSeek-V3则未见收益。TEMPO论文强调这是阶段图预测的结果，并非普适胜利。
论文TEMPOMoE专家并行
推荐理由：如果你在做MoE推理，TEMPO这个调度器在内存/算力瓶颈混合时能比常规方案快15.5%；不过DeepSeek-V3那种通信瓶颈场景它不灵。
原文
7月31日
16:21
16:21官方一手pandaily@contact@pandaily.com (Pandaily)
Kimi K3技术报告披露了MoonEP、KDA和AttnRes三套基础设施方案。报告强调MFU对训练效率的关键作用。Moonshot AI认为专家并行与共享专家的工程实现是真正壁垒。这些经验让开源模型的经济优势难以被复制。
AI模型Kimi K3Moonshot AIMoonEP
事件专题
推荐理由：Moonshot AI公开了Kimi K3的MoonEP等设计，但真正难抄的是工程调优经验，这决定了开源模型能不能打。
原文
7月30日
13:32
13:32官方一手marktechpost@Michal Sutter
Moonshot AI 在 Kimi K3 Open Day 上开源了 MoonEP，这是一个专家并行（EP）通信库，专为分布式 Mixture-of-Experts（MoE）训练优化。该库采用 MIT 许可证发布，旨在解决大规模 EP 通信的效率瓶颈。MoonEP 提供平衡的负载分配和低延迟通信，可与 Kimi K3 等模型配合使用。
AI模型Moonshot AIMoonEPKimi K3
事件专题
推荐理由：Moonshot AI 开源了 MoonEP，一个专门加速 MoE 训练中专家并行通信的库，比现有方案更均衡高效，做分布式训练的同学可以试试。
原文
5月21日
09:46
09:46官方账号arXiv cs.AI@Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein
精选
MoE 专家并行中的 AlltoAll 调度是主要瓶颈，业界提出四种缓解方案，但都基于两个假设：路由不均衡可由系统层修正，以及模拟 token 基准能代表真实生产路由。DODOCO 工具在五个 MoE 检查点（DeepSeek-V2-Lite MLA、DeepSeek-MoE-16B MHA、Qwen3-30B GQA、Nemotron-30B Mamba-2、Qwen3.5-35B GDN）上测试了这些假设，发现两者均不成立。扩展 EP 时，每个专家的最大/平均 token 比变化不超过 5%，表明 straggler 是模型路由决策固有的，而非专家在 rank 上的分布。模拟 token 高估路由 Gini 系数最多 2.35 倍，并制造出虚假的 batch-size 缩放趋势。五种架构分为两个稳定带：MHA 和 Mamba-2 在真实文本上 Gini 降至 0.105-0.150，而 MLA 和 GDN 始终高于 0.24。
论文MoE专家并行AlltoAll调度
推荐理由：做 MoE 系统优化或互联设计的工程师，这篇论文用实测数据推翻了行业两个核心假设，直接告诉你路由不均衡是模型固有、模拟测试不可信，看完能避免在错误方向上投入精力。
原文
5月14日
00:33