11:58arXiv cs.LG@Thomas Vitry, Kieran Edgeworth, Stefan Wermter, Jae Hee Lee本文提出一种无需偏见标签的后处理方法,用于识别冻结视觉模型中的虚假关联。该方法仅依赖标准类别标签,通过非负矩阵分解从中间激活中提取可解释概念向量,并利用误分类样本的梯度信号对候选概念进行排序。在Colored MNIST、Waterbirds和CelebA数据集上,该方法成功识别出已知虚假线索,且抑制排名靠前的概念可将最差组准确率提升最高17.9个百分点。该方法无需重新训练或参数更新,为部署后的模型提供了可解释的审计工具和去偏手段。代码已开源。论文视觉模型偏见识别梯度探针概念分解后处理推荐理由:做视觉模型部署和公平性的团队,终于有了一个无需额外标注就能定位模型偏见的工具——直接在冻结模型上分析,省去重新训练的麻烦,值得一试。原文
11:17arXiv cs.AI@Jorge Chang Ortega, Bastien Le Lan, Thomas Serre, Victor Boutin精选一项新研究通过联合能量模型(JEM)在固定架构中连续插值判别式和生成式训练,发现人类视觉对齐在两者之间的中间点达到最优,而非任一极端。研究在六个基准测试(包括感知相似性、光泽感知、人类响应不确定性、鲁棒性、形状-纹理冲突和诊断特征归因)上验证了这一结论。混合JEM结合了判别式学习的类别结构和生成式学习对输入结构的敏感性,产生了更接近人类视觉的行为。这表明,理解人类视觉对齐的关键不是选择哪种学习目标,而是平衡两者。论文视觉模型生成式学习判别式学习人类对齐联合能量模型推荐理由:这项研究解决了计算机视觉中一个长期争论:人类视觉更接近生成式还是判别式模型?答案是两者平衡。对视觉AI研究者和模型设计者来说,这是一个值得关注的结论,建议在模型训练中尝试混合目标。原文
11:20arXiv cs.LG@Ken Nakamura, Tomoya Nakai, Ryuto Yashiro, Ayumu Yamashita, Kaoru Amano精选本文提出一个统一框架,通过识别预测恢复的响应维度来评估人工视觉模型与人类视觉皮层的对齐程度,而不仅仅是依赖预测精度。利用重复fMRI测量,先确定可重复预测的脑响应维度,再量化模型或他人脑信号对这些维度的恢复程度。在自然场景数据集上的实验显示,早期到中期视觉皮层存在低维可重复维度,脑间比较可提供诊断性人类参考。预训练和随机初始化模型有时预测精度相似,但恢复轮廓不同,表明仅靠预测精度可能掩盖模型与大脑的失配。该框架为评估模型-大脑对齐提供了更诊断性的方法。论文视觉模型大脑对齐fMRI预测精度可重复维度推荐理由:做视觉模型与脑科学交叉研究的团队,终于有了一个能诊断模型到底恢复了大脑哪些维度的工具,而不是只看一个精度数字。建议做fMRI或视觉编码模型的点开,看完会重新理解什么才是真正的模型-大脑对齐。原文