10:17
官方账号arXiv cs.LG@Suchit Gupte, Xueru Zhang, Mohammad Mahdi Khalili
精选
推荐理由：这篇论文探讨了剪枝对稀疏自动编码器在LLMs中鲁棒性的影响，提出了新的剪枝策略，值得AI领域研究者关注。
稀疏自动编码器
共 1 条相关 AI 资讯
8月27日
10:17
稀疏自动编码器（SAEs）广泛用于解释大型语言模型（LLMs）的内部表示，但其后置模型压缩下的可靠性理解不足。本研究系统地研究了剪枝如何影响SAE行为，并从理论上证明了对于固定的SAE，其影响受扰动能量（协方差加权的范数）控制。这一观点揭示了幅度剪枝的关键局限性：通过忽略激活几何形状，它扭曲了学习到的表示空间并降低了SAE功能。相比之下，Wanda和SparseGPT等激活感知方法隐式地控制扰动能量，因此在保留SAE行为方面具有更高的鲁棒性。此外，我们还揭示了所有剪枝方法中的一致性结构漏洞：中间层比早期或晚期层对剪枝更敏感。基于这一洞察，我们提出了一种分层稀疏分配策略，在相同的平均剪枝稀疏度下实现了更低的困惑度。在四个模型架构上的实验验证了我们的理论发现。代码在https://github.com/osu-srml/sae-robustness-under-pruning/tree/main上公开。