#MirrorMoE

1 stories · 0 in 7 days · 1 in 30 days

MoE 1 论文 1 路由机制 1

Stories, products and papers tagged "MirrorMoE", newest first.

Oct 16

Chinese contentMirrorMoE 提出缓解 MoE 路由探索困境的新方法

研究 MoE 的人可以看看这篇，它指出共享专家会抑制路由探索，并给出 MirrorMoE 这个修正方案，多规模实验都有效。

#MirrorMoE #MoE #路由机制 #论文

arXiv cs.LG@Bingcong Li et al. (5)Source