Chinese contentGEAR²:让被剪枝的 MoE 专家通过门控复用继续发挥作用
剪 MoE 专家不用再花钱做恢复训练了。GEAR 直接复用已激活专家的输出,GEAR² 加个轻量残差补缺口,在 16B 到 106B 的五个模型上验证有效,剪一半专家性能还能保住。做模型部署和显存压缩的工程团队可以试试。
剪 MoE 专家不用再花钱做恢复训练了。GEAR 直接复用已激活专家的输出,GEAR² 加个轻量残差补缺口,在 16B 到 106B 的五个模型上验证有效,剪一半专家性能还能保住。做模型部署和显存压缩的工程团队可以试试。