#MaskCoFT

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。