精选理由
做模型压缩和边缘部署的团队终于有了一个无需重训的通道级修复方案——ASR在高稀疏度下能显著挽回精度损失，建议做剪枝优化的开发者直接试。
针对一次性幅度剪枝导致的高稀疏度下精度崩溃问题，本文提出了一种无需训练的通道级修复方法——自适应信号复苏（ASR）。该方法通过为每个输出通道估计方差匹配校正，并利用数据驱动的收缩规则稳定校正值，避免了对受损通道的过度放大。在ResNet-50 90%稀疏度下，ASR在CIFAR-10上恢复了55.6%的top-1准确率，远超逐层修复的41.0%和仅BatchNorm重校准的28.0%。实验表明，ASR在多种卷积架构和稀疏设置下均优于现有方法，尤其在高稀疏度场景下效果显著。
AI 翻译 · 中文
针对一次性幅度剪枝导致的高稀疏度下精度崩溃问题，本文提出了一种无需训练的通道级修复方法——自适应信号复苏（ASR）。该方法通过为每个输出通道估计方差匹配校正，并利用数据驱动的收缩规则稳定校正值，避免了对受损通道的过度放大。在ResNet-50 90%稀疏度下，ASR在CIFAR-10上恢复了55.6%的top-1准确率，远超逐层修复的41.0%和仅BatchNorm重校准的28.0%。实验表明，ASR在多种卷积架构和稀疏设置下均优于现有方法，尤其在高稀疏度场景下效果显著。
One-shot magnitude pruning can cause severe accuracy collapse in the high-sparsity regime, even when the pruning mask preserves the largest weights. We argue that this failure reflects a granularity mismatch in post-prun…