精选理由
这篇论文把S4模型剪掉70%计算量还能保持性能，想在小设备上跑S4模型可以看看。
论文提出S4oP，一种增量式运算符级剪枝方法，针对S4和S4D结构状态空间模型。该方法通过交替结构化掩码和微调逐步剪枝运算符。实验在多个基准数据集上表明，剪枝70%的模型运算符仍能保持原模型性能，同时显著降低推理延迟。这是首次系统研究SSM的结构化运算符剪枝。
AI 翻译 · 中文
论文提出S4oP，一种增量式运算符级剪枝方法，针对S4和S4D结构状态空间模型。该方法通过交替结构化掩码和微调逐步剪枝运算符。实验在多个基准数据集上表明，剪枝70%的模型运算符仍能保持原模型性能，同时显著降低推理延迟。这是首次系统研究SSM的结构化运算符剪枝。
Structured State Space Models (SSMs), including the S4 and S4D architectures, have recently emerged as powerful alternatives to attention-based models for capturing long-range dependencies in sequential data. Despite the…