Papers09:48
Chinese contentOrderMoE：基于专家相似性的分布式边缘MoE推理这篇论文把MoE模型卸到边缘设备上跑，靠专家相似性分组减少跨服务器通信，实测延迟和流量都降了，质量只掉一点。
#OrderMoE
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "OrderMoE", newest first.
Jul 21
这篇论文把MoE模型卸到边缘设备上跑，靠专家相似性分组减少跨服务器通信，实测延迟和流量都降了，质量只掉一点。