精选理由
这篇论文直接检验了神经元归因方法的可靠性，发现高秩稳定的选择器反而可能因果失效，对模型可解释性和安全编辑很有启发。
该论文对五个大型语言模型（LLMs）进行单次神经元行零化审计，测试归因方法能否识别因果重要的神经元行。归因方法在识别可丢弃行方面显著优于激活和幅度基线。通过对比有害与良性信号驱动干预，归因行足以在仇恨和犯罪内容上安装拒绝行为，同时保持良性过度拒绝率较低且不影响语言模型流畅性。高秩稳定性选择器可能因果有效性最低，且拒绝行为存在于冗余子空间中，不同归因方法通过几乎不相交的行集实现拒绝。
AI 翻译 · 中文
该论文对五个大型语言模型（LLMs）进行单次神经元行零化审计，测试归因方法能否识别因果重要的神经元行。归因方法在识别可丢弃行方面显著优于激活和幅度基线。通过对比有害与良性信号驱动干预，归因行足以在仇恨和犯罪内容上安装拒绝行为，同时保持良性过度拒绝率较低且不影响语言模型流畅性。高秩稳定性选择器可能因果有效性最低，且拒绝行为存在于冗余子空间中，不同归因方法通过几乎不相交的行集实现拒绝。
Attribution scores increasingly identify which neuron rows of a language model matter for applications such as pruning, interpretability, and editing for safety, yet whether they identify causally important rows is rarel…