09:44
官方一手arXiv: DeepSeek@Yongqin Zeng, Sicheng Pan, Jiale Wang, Hai-tao Zheng, Hong-Gee Kim, Chunxia Ma, XiuTeng Zhou
推荐理由：这篇论文用两个通用语料就能做好MoE剪枝，在Qwen和DeepSeek模型上准确率更高，尤其适合需要极限压缩的场景。
Qwen1.5-MoE
共 1 条相关 AI 资讯
7月3日
09:44
该论文提出Generic TB-Coverage方法，仅使用WikiText2和C4两个通用语料进行校准。通过分别评估每个语料库上的专家效用并执行固定预算覆盖规则来构建剪枝掩码。在Qwen1.5-MoE-A2.7B和DeepSeek-MoE-16B-Base上，以25%、50%、75%的保留预算测试，六个零样本基准的平均准确率均优于随机剪枝、REAP和ExpertSparsity，同时WikiText2和C4的困惑度退化更小。在激进剪枝（25%和50%保留）下增益最为显著。