09:37
官方账号arXiv cs.LG@Abdallah Khemais
精选
推荐理由：论文把激活修补和权重消融的一致性讲透了，用39种配置验证，Spearman -0.83，值得搞可解释性的人看看。
权重消融
共 1 条相关 AI 资讯
8月5日
09:37
论文在残差流模型F(x)=F0(x)+Σαi(x)vi中推导出激活修补与权重消融一致的精确条件。对单块注意力头，删除载体子集使匹配输入坍缩到相同输出的充要条件是对称移除且无外部对比。注意力头与其层归一化及MLP组合的交互公式一阶精确，二阶余项在仅消融MLP时恒为零。三十九种消融配置下，测量交互与理想模型预测准确率的Spearman相关系数为-0.83。第二任务与架构复现相同模式，并出现极性反转。