#GRIT-Bench

视觉语言模型经常瞎猜图像也能答对题，这篇论文用注意力分析定位了这些 token，再用梯度掩码修掉，还配了个 GRIT-Bench 基准。