Chinese contentTuring 提出 C-MOPD 蒸馏方法，Turing-20B-A2B 整合得分达 0.9988
Turing 这篇论文讲怎么把多个专家模型蒸馏进一个 MoE，80 多行细节，还把训练步骤快了 2.86 倍，做训练的人可以看看。
#C-MOPD
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "C-MOPD", newest first.
Oct 30
Turing 这篇论文讲怎么把多个专家模型蒸馏进一个 MoE，80 多行细节，还把训练步骤快了 2.86 倍，做训练的人可以看看。