ETAPS 剪枝方法在 50%-90% 稀疏度下超越 ELSA，困惑度最多降低 42%

论文提出 ETAPS，一种渐进式剪枝方法，通过分阶段收紧全局稀疏约束并训练小型稀疏 delta 来避免模型规模的优化器状态。在 125M 到 13B 的六个模型上，ETAPS 在 50% 至 90% 的每个稀疏度下困惑度均低于 ELSA，最高降低 42%。成本方面，在 90% 稀疏度下剪枝 LLaMA2-7B 时，ETAPS 只需单张 H200，而 ELSA 需要四张，总持久状态小 5.0 倍，GPU 小时数减少 49%。