AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

Video-LLM

共 2 条相关 AI 资讯
6月24日
12:03
12:03官方账号arXiv cs.AI@Linpeng Huang, Weixing Chen, Zexin Chen, Yang Liu, Liang Lin
EG-VQA是一个开放式的视频问答基准,包含2,067个视频和11,838个QA对,每个问题都标注了精确的时间证据区间。提出EG-F1指标,统一衡量预测证据的时间对齐和语义一致性。实验发现即使最强模型(如专有模型)在证据定位上表现不佳,存在答案正确但定位偏差的问题。为此提出EG-Reasoner模型,通过显式证据监督训练,在开源模型中达到最优,并在反事实等推理密集型任务上表现突出。该研究证明仅靠扩展规模不足以实现鲁棒的视频理解,结构化证据监督是关键。
论文EG-VQAVideo-LLM视频问答证据定位基准

推荐理由:这个新基准EG-VQA把视频问答的答案和证据绑定在一起,测出来一大票模型只会蒙答案不会找证据。开源模型EG-Reasoner靠证据监督训练,反事实推理直接碾压好几家专有模型。
原文
6月11日
10:53
10:53官方账号arXiv cs.AI@Sukmin Seo, Geewook Kim
精选
该研究指出,在小时级长视频中,自然语言时间定位(Temporal Grounding)的核心瓶颈是搜索而非识别。现有视频大模型(Video-LLMs)在短片上表现良好,但在小时级视频中因无法高效搜索相关区域而崩溃。作者发布了首个开放域小时级时间定位基准 ExtremeWhenBench(194个视频,平均75.7分钟,最长9小时,2273条查询),发现所有开源 Video-LLM 均不如简单的帧级检索基线。失败分析显示85%的错误源于搜索失败,而“检索-定位”混合方法比单一 Video-LLM 提升6.7倍,类似于开放域问答中的“检索-阅读”范式。
论文时间定位长视频理解检索-定位Video-LLM基准测试

推荐理由:做长视频理解或视频检索的开发者会发现,当前 Video-LLM 在小时级视频上几乎不可用,而简单的检索基线反而更有效——这个反直觉结论值得点开看看,或许能帮你重新设计系统架构。
原文
精选全部日报登录