AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：路由机制×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月19日
14:02
14:02arXiv: DeepSeek@Jing Wang, Hongxuan Lu, Jazze Young, Shu Wang, Zhimin Xin
精选
DBES 是一个针对混合专家模型（MoE）中专家专业化程度的系统评估框架，包含多领域基准和五个理论驱动的指标：路由专业化、归一化有效秩、领域隔离度、路由刚度评分和N-gram专家度。研究发现不同模型呈现不同专业化范式：Qwen系列表现出模块化专业化和高领域隔离，而DeepSeek和GLM采用分布式协作。更重要的是，通过DBES识别高专业化专家路径进行领域特定后训练，仅用15%的训练资源即可实现66%到94.48%的专业领域性能提升。这项工作首次提供了独立于准确率指标的专家专业化评估方法，为下一代MoE系统的设计和后训练优化提供了关键见解。
论文MoE专家专业化基准测试路由机制后训练优化
推荐理由：MoE模型的路由机制一直是个黑盒，DBES让开发者能真正量化专家是否在干专长的事。做MoE训练或微调的团队，可以用这套指标直接优化后训练效率，省资源又提效果，值得一试。
原文
5月13日
19:12
19:12arXiv cs.LG@Sagi Ahrac, Noya Hochwald, Mor Geva
精选
稀疏混合专家模型（SMoE）在扩展语言模型时面临路由崩溃和负载均衡损失导致专业化下降的问题。本文揭示了路由器与其对应专家之间的几何耦合机制：对于给定token，所选专家的路由器权重和专家权重沿相同输入方向接收梯度，仅标量系数不同，因此匹配的路由器-专家方向累积相同的路由历史。实验表明，从零训练的1B SMoE中，更高的路由器分数预测更强的专家神经元激活，路由决策在所选专家内部被镜像。辅助负载均衡损失会破坏这种几何结构，使不同路由器方向相似度增加近三倍。最后，作者提出无参数在线K-Means路由器，通过维护专家隐藏状态运行平均值并基于余弦相似度分配token，在最低负载不平衡和适度困惑度增加下验证了几何耦合对有效路由的核心作用。
论文稀疏MoE路由机制几何耦合负载均衡在线K-Means
推荐理由：做MoE模型训练或路由优化的研究者，这篇论文解释了路由崩溃和负载均衡损失的底层机制，看完会对如何设计更有效的路由策略有直接启发。
原文