模型剪枝相关 AI 资讯 · AI 热点

6月17日

11:26

11:26

官方账号arXiv cs.LG@Marco Deano, Filippo Ziche, Nicola Bombieri

论文提出S4oP，一种增量式运算符级剪枝方法，针对S4和S4D结构状态空间模型。该方法通过交替结构化掩码和微调逐步剪枝运算符。实验在多个基准数据集上表明，剪枝70%的模型运算符仍能保持原模型性能，同时显著降低推理延迟。这是首次系统研究SSM的结构化运算符剪枝。

论文 S4oP S4 S4D SSM 模型剪枝

推荐理由：这篇论文把S4模型剪掉70%计算量还能保持性能，想在小设备上跑S4模型可以看看。

6月10日

09:11

09:11

官方一手arXiv: DeepSeek@Leonard Engmann, Christian Medeiros Adriano, Holger Giese

精选

这篇论文对混合专家模型（MoE）中的专家重要性评估方法进行了因果审计。研究者发现，当前广泛使用的路由统计指标（如利用率、激活范数、路由权重分布）无法预测哪些专家可以被移除而不影响模型功能。他们在 OLMoE-1B-7B-0924、Qwen1.5-MoE-A2.7B 和 DeepSeek-V2-Lite 三个高冗余 MoE 架构上进行了 token 级干预实验，结果在所有 60 个指标-层组合中，观测指标与因果重要性之间的效应量均低于 Cohen's d = 0.17。现有剪枝方法之所以有效，并非因为它们识别出了可去除的专家，而是因为早期层的冗余性使得大多数选择标准可以互换。这项研究为可解释性领域提供了一个明确的反例，说明从总体观测统计到 token 级干预结论的推理步骤需要更严格的因果验证。

论文 MoE/混合专家模型剪枝因果推断可解释性审计

推荐理由：MoE 模型剪枝的常用假设被实验证伪了——做模型压缩或可解释性研究的团队，建议重新审视你的专家选择策略，别再依赖路由统计指标。