重新思考全局平均池化:你的分类器其实是多实例学习器

Rethinking Global Average Pooling: Your Classifier Is Secretly a Multi-Instance Learner

精选理由

用GAP隐藏的空间证据诊断分类错误

AI 摘要

这篇论文指出,现代图像分类器使用的全局平均池化(GAP)加线性分类头的结构,使图像级logits等于特征网格上逐点分类后logits的平均值。这种线性性意味着标准分类器本质上是多实例学习器(MIL),将图像视为空间实例的包。实验发现,即使图像级预测错误,分类器仍在特征网格中保留了空间类别证据,且现成模型(off-the-shelf models)能稳定恢复前景区域的地面真实类别。该研究将GAP隐藏的空间信息重新提取出来,为模型诊断提供了新思路。

AI 翻译 · 中文

这篇论文指出,现代图像分类器使用的全局平均池化(GAP)加线性分类头的结构,使图像级logits等于特征网格上逐点分类后logits的平均值。这种线性性意味着标准分类器本质上是多实例学习器(MIL),将图像视为空间实例的包。实验发现,即使图像级预测错误,分类器仍在特征网格中保留了空间类别证据,且现成模型(off-the-shelf models)能稳定恢复前景区域的地面真实类别。该研究将GAP隐藏的空间信息重新提取出来,为模型诊断提供了新思路。

arXiv cs.AIModern image classifiers widely adopt global average pooling (GAP) followed by a linear classification head. This linearity ensures that the image-level logits equal the average of logits obtained by applying the classif