09:48
官方账号arXiv cs.LG@Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang
推荐理由：这篇论文把MoE模型卸到边缘设备上跑，靠专家相似性分组减少跨服务器通信，实测延迟和流量都降了，质量只掉一点。
OrderMoE
共 1 条相关 AI 资讯
7月21日
09:48
OrderMoE提出了一种利用专家相似性的分布式部署框架，专为资源受限的边缘基础设施设计。它通过路由器诱导的logits表示构建专家相似性模型，将MoE层中的专家分组到多个相似性组中。然后采用相似性感知的专家分组与部署策略，提高边缘服务器间的本地相似性覆盖率。在真实边缘测试平台上，OrderMoE显著降低了平均延迟、尾延迟、跨服务器流量和远程专家调用比例，且推理质量下降可控。