11:58arXiv cs.AI@Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim精选研究发现多模态大语言模型作为自动评估者时存在“感知判断偏见”:当视觉证据与文本线索冲突时,模型倾向于奖励看似合理但感知错误的回答。研究者通过受控视觉扰动构建了 Perceptually Perturbed Judgment 数据集,并开发了结合 GRPO 奖励与批量排序目标的统一训练框架。该方法无需显式成对标签,即可实现全局一致性排序。实验表明,该方法显著提升了多模态评估者的感知保真度、排序一致性与人类评价对齐度。这项工作为训练感知可靠、可解释且鲁棒的多模态评估者提供了可扩展路径。论文多模态大模型评测偏见感知扰动奖励建模GRPO推荐理由:做多模态模型评测的团队终于有了对抗感知偏见的方法——Perceptual Perturbation 框架能直接提升评估者的视觉可靠性,建议做 MLLM 评测基准的开发者点开看看实验细节。原文