10:06
官方账号arXiv cs.AI@Marek Hradil, Danae Sánchez Villegas
推荐理由：这篇论文提出了TimeCatch，一个用于评估视觉语言模型时间一致性的基准，揭示了当前模型在时间异常检测上的不足，值得一读。
时间一致性
共 1 条相关 AI 资讯
8月25日
10:06
视觉语言模型（VLMs）在视频和图像序列基准测试中表现出色，但它们是否捕捉到时间结构尚不清楚。我们提出时间定位作为异常检测问题，并引入TimeCatch，通过交换连续帧和用高斯噪声替换帧来创建时间异常和帧级异常。模型在四个合成和真实世界数据集上进行了异常检测和定位任务的评估，并与人类研究进行了比较。结果表明，VLMs在帧级异常检测中表现良好，但在时间异常检测中表现接近随机，在定位上仅略高于随机。人类在两项任务中都取得了接近天花板的表现。对模型规模、提示策略、序列长度和视觉相似度等方面的进一步分析表明，这些失败不能仅归因于感知或模型容量的限制。这些发现表明，当前的VLMs可以识别单个帧中的异常，但在整合跨帧信息以推理时间一致性方面存在困难。TimeCatch为评估视觉语言模型中的时间定位提供了一个受控的基准。