精选理由
做视觉模型与脑科学交叉研究的团队，终于有了一个能诊断模型到底恢复了大脑哪些维度的工具，而不是只看一个精度数字。建议做fMRI或视觉编码模型的点开，看完会重新理解什么才是真正的模型-大脑对齐。
本文提出一个统一框架，通过识别预测恢复的响应维度来评估人工视觉模型与人类视觉皮层的对齐程度，而不仅仅是依赖预测精度。利用重复fMRI测量，先确定可重复预测的脑响应维度，再量化模型或他人脑信号对这些维度的恢复程度。在自然场景数据集上的实验显示，早期到中期视觉皮层存在低维可重复维度，脑间比较可提供诊断性人类参考。预训练和随机初始化模型有时预测精度相似，但恢复轮廓不同，表明仅靠预测精度可能掩盖模型与大脑的失配。该框架为评估模型-大脑对齐提供了更诊断性的方法。
AI 翻译 · 中文
本文提出一个统一框架，通过识别预测恢复的响应维度来评估人工视觉模型与人类视觉皮层的对齐程度，而不仅仅是依赖预测精度。利用重复fMRI测量，先确定可重复预测的脑响应维度，再量化模型或他人脑信号对这些维度的恢复程度。在自然场景数据集上的实验显示，早期到中期视觉皮层存在低维可重复维度，脑间比较可提供诊断性人类参考。预训练和随机初始化模型有时预测精度相似，但恢复轮廓不同，表明仅靠预测精度可能掩盖模型与大脑的失配。该框架为评估模型-大脑对齐提供了更诊断性的方法。
Artificial vision models are often evaluated against the human visual cortex by measuring how accurately their internal representations predict brain responses. However, prediction accuracy alone does not indicate which …