arXiv cs.AI@Yakun Yu, Ashley Wiens, Adrián Barahona-Ríos, Benedict Wilkins, Saman Zadtootaghaj, Nabajeet Barman, Cor-Paul Bezemer精选58现有视觉语言模型（VLM）在游戏故障检测评估中，大多将故障视为静态视觉异常，忽略了时间性故障——这类故障需通过帧间变化才能识别。研究者提出TempGlitch基准，包含五种时间性故障类型及配对的无故障视频，用于系统评估。对12个开源和闭源VLM的测试显示，当前模型在TempGlitch上表现接近随机，要么过于保守漏检，要么过于敏感误报。增加帧采样密度或模型规模并不能可靠解决这些问题。该基准为时间推理、游戏理解和自动化故障检测提供了聚焦测试平台。论文视觉语言模型游戏QA故障检测时间推理基准测试推荐理由：游戏QA团队和VLM研究者终于有了专门测试时间性故障的基准——当前模型表现接近随机，说明这是个硬骨头，做自动化测试的值得关注。