11:26arXiv cs.LG@Marco Deano, Filippo Ziche, Nicola Bombieri论文提出S4oP,一种增量式运算符级剪枝方法,针对S4和S4D结构状态空间模型。该方法通过交替结构化掩码和微调逐步剪枝运算符。实验在多个基准数据集上表明,剪枝70%的模型运算符仍能保持原模型性能,同时显著降低推理延迟。这是首次系统研究SSM的结构化运算符剪枝。论文S4oPS4S4DSSM模型剪枝推荐理由:这篇论文把S4模型剪掉70%计算量还能保持性能,想在小设备上跑S4模型可以看看。原文