AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

ST-Evidence

共 1 条相关 AI 资讯
7月14日
12:26
12:26官方账号arXiv cs.AI@Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio Savarese, Chen Sun, Juan Carlos Niebles
当前视频大语言模型在问答中表现优异但缺乏可验证的视觉依据。研究人员提出E-VQA(Evidence-Backed Video Question Answering)新任务,要求模型同时输出语义答案和精确的时空证据:时间片段与密集跟踪物体分割掩码。为此构建了首个经人工验证的像素级定位基准ST-Evidence,包含判别与生成两种任务。对现有模型的评估显示,问答准确率与真实视觉感知之间存在显著脱节,仅靠扩展规模无法解决。团队开发了自动化生成流程,创建16万规模的ST-Evidence-Instruct数据集,微调后的7B模型在UniPixel基线上获得+27.2 t-mean和+13.8 J&F的提升。
论文E-VQAST-EvidenceSalesforce AI Research

推荐理由:Salesforce AI Research 发布了 E-VQA 任务和 ST-Evidence 基准,解决了视频问答无法验证视觉证据的问题。如果你想理解视频模型真正“看到”了什么,这篇论文值得一读。
原文
精选全部日报登录