AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：专家并行×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月21日
09:46
09:46arXiv cs.AI@Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein
精选
MoE 专家并行中的 AlltoAll 调度是主要瓶颈，业界提出四种缓解方案，但都基于两个假设：路由不均衡可由系统层修正，以及模拟 token 基准能代表真实生产路由。DODOCO 工具在五个 MoE 检查点（DeepSeek-V2-Lite MLA、DeepSeek-MoE-16B MHA、Qwen3-30B GQA、Nemotron-30B Mamba-2、Qwen3.5-35B GDN）上测试了这些假设，发现两者均不成立。扩展 EP 时，每个专家的最大/平均 token 比变化不超过 5%，表明 straggler 是模型路由决策固有的，而非专家在 rank 上的分布。模拟 token 高估路由 Gini 系数最多 2.35 倍，并制造出虚假的 batch-size 缩放趋势。五种架构分为两个稳定带：MHA 和 Mamba-2 在真实文本上 Gini 降至 0.105-0.150，而 MLA 和 GDN 始终高于 0.24。
论文MoE专家并行AlltoAll调度路由不均衡系统优化
推荐理由：做 MoE 系统优化或互联设计的工程师，这篇论文用实测数据推翻了行业两个核心假设，直接告诉你路由不均衡是模型固有、模拟测试不可信，看完能避免在错误方向上投入精力。
原文
5月14日
00:33