11:58
官方账号arXiv cs.AI@Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim
精选
推荐理由：做多模态模型评测的团队终于有了对抗感知偏见的方法——Perceptual Perturbation 框架能直接提升评估者的视觉可靠性，建议做 MLLM 评测基准的开发者点开看看实验细节。
评测偏见
共 1 条相关 AI 资讯
6月2日
11:58
研究发现多模态大语言模型作为自动评估者时存在“感知判断偏见”：当视觉证据与文本线索冲突时，模型倾向于奖励看似合理但感知错误的回答。研究者通过受控视觉扰动构建了 Perceptually Perturbed Judgment 数据集，并开发了结合 GRPO 奖励与批量排序目标的统一训练框架。该方法无需显式成对标签，即可实现全局一致性排序。实验表明，该方法显著提升了多模态评估者的感知保真度、排序一致性与人类评价对齐度。这项工作为训练感知可靠、可解释且鲁棒的多模态评估者提供了可扩展路径。