AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：负载均衡×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
09:41
09:41arXiv cs.AI@Zhiyao Xu, Aoxue Liu, Zhanjie Ding, Dan Zhao, Yong Jiang, Qing Li
稀疏激活的混合专家（MoE）模型在分布式推理中面临跨GPU通信和负载不均问题。现有方法通过全局路由痕迹平均化处理专家共激活模式，忽略了多任务场景下不同任务族的异质性。本文提出TACG框架，利用任务族特定的调度和共激活痕迹，为每个专家推导任务族偏好，重新加权共激活图，使同族专家优先部署在同一GPU上。同时引入GESR机制，复制通用专家到少量辅助GPU，在线推理时兼顾局部性和负载均衡。在三个开源MoE模型上，该方法平均降低通信成本31.39%，Jain公平指数达0.9975，且对推理数据分布偏移具有鲁棒性。
论文MoE模型分布式推理通信优化任务感知分组负载均衡
推荐理由：MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略，实测通信成本降三成，公平性几乎无损。
原文
5月13日
19:12
19:12arXiv cs.LG@Sagi Ahrac, Noya Hochwald, Mor Geva
精选
稀疏混合专家模型（SMoE）在扩展语言模型时面临路由崩溃和负载均衡损失导致专业化下降的问题。本文揭示了路由器与其对应专家之间的几何耦合机制：对于给定token，所选专家的路由器权重和专家权重沿相同输入方向接收梯度，仅标量系数不同，因此匹配的路由器-专家方向累积相同的路由历史。实验表明，从零训练的1B SMoE中，更高的路由器分数预测更强的专家神经元激活，路由决策在所选专家内部被镜像。辅助负载均衡损失会破坏这种几何结构，使不同路由器方向相似度增加近三倍。最后，作者提出无参数在线K-Means路由器，通过维护专家隐藏状态运行平均值并基于余弦相似度分配token，在最低负载不平衡和适度困惑度增加下验证了几何耦合对有效路由的核心作用。
论文稀疏MoE路由机制几何耦合负载均衡在线K-Means
推荐理由：做MoE模型训练或路由优化的研究者，这篇论文解释了路由崩溃和负载均衡损失的底层机制，看完会对如何设计更有效的路由策略有直接启发。
原文