Chinese contentSPARE：用路由熵决定 MoE 各层剪枝比例的免训练方法
MoE 模型太大跑不动？这篇论文的 SPARE 方法不用训练，按每层路由熵决定剪多少专家，Qwen3 剪一半还涨了 6 个点。
#SPARE
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "SPARE", newest first.
10月22日
MoE 模型太大跑不动？这篇论文的 SPARE 方法不用训练，按每层路由熵决定剪多少专家，Qwen3 剪一半还涨了 6 个点。