精选理由
做视觉模型部署和公平性的团队，终于有了一个无需额外标注就能定位模型偏见的工具——直接在冻结模型上分析，省去重新训练的麻烦，值得一试。
本文提出一种无需偏见标签的后处理方法，用于识别冻结视觉模型中的虚假关联。该方法仅依赖标准类别标签，通过非负矩阵分解从中间激活中提取可解释概念向量，并利用误分类样本的梯度信号对候选概念进行排序。在Colored MNIST、Waterbirds和CelebA数据集上，该方法成功识别出已知虚假线索，且抑制排名靠前的概念可将最差组准确率提升最高17.9个百分点。该方法无需重新训练或参数更新，为部署后的模型提供了可解释的审计工具和去偏手段。代码已开源。
AI 翻译 · 中文
本文提出一种无需偏见标签的后处理方法，用于识别冻结视觉模型中的虚假关联。该方法仅依赖标准类别标签，通过非负矩阵分解从中间激活中提取可解释概念向量，并利用误分类样本的梯度信号对候选概念进行排序。在Colored MNIST、Waterbirds和CelebA数据集上，该方法成功识别出已知虚假线索，且抑制排名靠前的概念可将最差组准确率提升最高17.9个百分点。该方法无需重新训练或参数更新，为部署后的模型提供了可解释的审计工具和去偏手段。代码已开源。
Vision classifiers can exploit spurious correlations, achieving high in-distribution accuracy yet failing under distribution shift. Existing approaches to bias mitigation and analysis often depend on curated datasets, sp…