做长视频理解或视频检索的开发者会发现,当前 Video-LLM 在小时级视频上几乎不可用,而简单的检索基线反而更有效——这个反直觉结论值得点开看看,或许能帮你重新设计系统架构。
该研究指出,在小时级长视频中,自然语言时间定位(Temporal Grounding)的核心瓶颈是搜索而非识别。现有视频大模型(Video-LLMs)在短片上表现良好,但在小时级视频中因无法高效搜索相关区域而崩溃。作者发布了首个开放域小时级时间定位基准 ExtremeWhenBench(194个视频,平均75.7分钟,最长9小时,2273条查询),发现所有开源 Video-LLM 均不如简单的帧级检索基线。失败分析显示85%的错误源于搜索失败,而“检索-定位”混合方法比单一 Video-LLM 提升6.7倍,类似于开放域问答中的“检索-阅读”范式。
该研究指出,在小时级长视频中,自然语言时间定位(Temporal Grounding)的核心瓶颈是搜索而非识别。现有视频大模型(Video-LLMs)在短片上表现良好,但在小时级视频中因无法高效搜索相关区域而崩溃。作者发布了首个开放域小时级时间定位基准 ExtremeWhenBench(194个视频,平均75.7分钟,最长9小时,2273条查询),发现所有开源 Video-LLM 均不如简单的帧级检索基线。失败分析显示85%的错误源于搜索失败,而“检索-定位”混合方法比单一 Video-LLM 提升6.7倍,类似于开放域问答中的“检索-阅读”范式。
Temporal grounding--returning the interval $[t_s, t_e]$ for a natural-language query over a video--is the language interface to long-form video, yet has been studied on short videos; the dynamics of hour-scale natural-la…