#Foil

一篇教你怎么把 MoE 和循环 Transformer 结合的论文，Foil 把专家层数减半、循环翻倍，同等算力下预训练损失更低，代码也开源了。