09:53
官方一手arXiv: DeepSeek@Huiyuan Tian, Bonan Xu, Shijian Li
精选
推荐理由：这篇论文把MoE路由的几何重叠和功能价值分开了，用了新指标ESSI和受控实验，结论很扎实，比单纯算相似度靠谱。
Mixtral
共 1 条相关 AI 资讯
7月31日
09:53
本研究提出专家子空间分离指数（ESSI）和匹配路由残差等方法，区分路由一致性、候选质量和上下文交互。在六种MoE架构中发现专家子空间高度重叠，但实际路由对token表征的解释优于匹配替代方案。在OLMoE、Mixtral和DeepSeek的39个阶乘单元中，选中专家在每个单元都比最强的未选中候选解释更多残差，但实际前缀在所有交互中均缩小该优势，所有95%置信区间低于零。尽管几何重叠，添加后续专家在39个冻结路由比较中改善24个单元的下一token预测，其余15个不显著，受控训练中三个种子均偏好Top-2优于Top-1。这一模式表明路由从共享几何邻域选择token相关专家，而多专家计算无需不相交线性覆盖即可保持效用。