AITOP

视频理解

共 17 条相关 AI 资讯
7月31日
13:08
13:08官方账号arXiv cs.AI@Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu
ObjectStream 是面向流式视频理解的无训练框架，把潜在目标作为记忆锚点。它直接从冻结的 Video-LLM 表征中提取空间连贯的潜在目标，跨帧链接为持久锚点，无需外部检测器或分割模型。在 OVO-Bench Real-Time Visual Perception 上，ObjectStream 使 Qwen2.5-VL-7B 提升 10.0 分，峰值 GPU 内存和 TTFT 均降低约 50%。在离线长视频基准上，它超越全 token 基线，同时丢弃 82.5% 的视觉 token。
论文ObjectStreamQwen2.5-VL-7BVideo-LLM
推荐理由：论文提出 ObjectStream，用目标当锚点压缩视频记忆，免训练提升理解，显存延迟减半，性能还涨 10 分。
原文
7月29日
17:26
7月25日
10:19
7月18日
02:16
7月14日
12:26
12:26官方账号arXiv cs.AI@Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio Savarese, Chen Sun, Juan Carlos Niebles
当前视频大语言模型在问答中表现优异但缺乏可验证的视觉依据。研究人员提出E-VQA（Evidence-Backed Video Question Answering）新任务，要求模型同时输出语义答案和精确的时空证据：时间片段与密集跟踪物体分割掩码。为此构建了首个经人工验证的像素级定位基准ST-Evidence，包含判别与生成两种任务。对现有模型的评估显示，问答准确率与真实视觉感知之间存在显著脱节，仅靠扩展规模无法解决。团队开发了自动化生成流程，创建16万规模的ST-Evidence-Instruct数据集，微调后的7B模型在UniPixel基线上获得+27.2 t-mean和+13.8 J&F的提升。
论文E-VQAST-EvidenceSalesforce AI Research
推荐理由：Salesforce AI Research 发布了 E-VQA 任务和 ST-Evidence 基准，解决了视频问答无法验证视觉证据的问题。如果你想理解视频模型真正“看到”了什么，这篇论文值得一读。
原文
6月16日
20:29
6月12日
09:43
09:43官方账号arXiv cs.LG@Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany
VideoMDM 是一种基于扩散的框架，能够仅从单目视频中提取的精确2D姿态直接训练3D人体运动先验，无需任何3D真实数据。它利用预训练的2D转3D提升器提供近似3D姿态序列作为噪声教师，在3D空间扩散和去噪后，通过重投影到2D并与精确关键点比较进行监督。论文证明在温和假设下，深度加权的2D重投影损失在期望上等价于直接3D监督，并适配了速度一致性和过参数化表示对齐等标准3D运动正则化器。在HumanML3D数据集上，VideoMDM几乎缩小了与完全3D监督方法的差距（FID 0.88 vs 0.54），在真实视频数据集Fit3D和NBA上生成的运动更受人类偏好。
论文3D人体运动生成扩散模型2D监督
推荐理由：做3D人体运动生成的团队终于有了摆脱昂贵3D标注的可行方案——VideoMDM用2D视频就能训练出接近3D监督水平的模型，做动画、运动分析或虚拟人开发的可以直接试。
原文
6月11日
10:01
10:01官方账号arXiv cs.AI@Tarandeep Singh, Soumyanetra Pal, Soham Biswas, Nishanth Chandran
精选
本文提出一种三阶段流水线，用于从监控视频中零样本理解事故，包括何时发生冲击、何种类型以及发生在画面何处。第一阶段通过视觉-语言相似性提取冲击附近的时间窗口；第二阶段利用元数据驱动多提示推理，结合五个互补视角（基线、运动、几何、对比和决胜）并通过熵门控成对裁决器解决分歧；第三阶段基于预测的事故类型和场景布局，使用开放词汇检测器定位冲击，并通过得分加权质心聚合关键帧检测结果。该方法在零样本ACCIDENT @ CVPR基准上显著优于中心帧基线，表明将零样本视频理解分解为时间定位、语义分类和空间定位能比直接提示更可靠地利用视觉-语言模型。
论文零样本学习视频理解多提示推理
推荐理由：这篇论文解决了监控视频中事故理解的零样本难题，做视频分析或安全监控的开发者可以直接借鉴其三阶段分解思路，比传统提示方法更可靠，值得一试。
原文
6月8日
09:28
09:28官方账号arXiv cs.AI@Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang
这篇综述从人类视角出发，系统梳理了多模态大语言模型（MLLM）在视频理解中的三大核心能力：观看（感知）、记忆（上下文保持）和推理（生成可靠输出）。文章提出统一框架，将视频理解系统分解为感知表征、记忆状态、推理轨迹和最终预测，并分析了时空感知、长视频高效处理、流式理解、忠实推理等关键挑战。作者按功能分类介绍了代表性方法，涵盖细粒度感知、多模态对齐、离线/流式记忆、纯文本与视频推理等方向，并讨论了第一人称、体育、教学、医疗等应用场景及评估基准。最后指出了可扩展、记忆感知、证据驱动的视频智能的未来方向。
论文多模态大语言模型视频理解综述
推荐理由：做视频理解或 MLLM 研究的同学，这篇综述帮你把碎片化的方法统一到“观看-记忆-推理”框架下，省去自己梳理文献的时间，值得收藏作为 roadmap。
原文
6月4日
10:18
10:18官方账号arXiv cs.AI@Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong
多模态模型在长视频理解中，记忆能力成为关键瓶颈。现有基准多聚焦感知与推理，缺乏对记忆的系统评估。北京大学团队提出M³Eval，基于认知心理学设计任务，从信息保留、保真度、抗干扰性等维度评估模型记忆。实验发现，模型在并行视频流中难以保持分离表征，时空记忆可靠性差异大，符号记忆有限。该基准为多模态记忆研究提供了重要资源，揭示了模型记忆与人类记忆的显著差异。
论文多模态模型记忆评估视频理解
推荐理由：做多模态模型或视频理解的团队，M³Eval 帮你找到模型记忆的短板，看完你会重新思考模型架构设计。
原文
6月2日
11:58
11:58官方账号arXiv cs.AI@Haowen Hou, Zhen Huang, Zheming Liang, Qingyi Si, Chenglin Li, Shuai Dong, Kele Shao, Ruilin Li, Dianyi Wang, Nan Duan, Jiaqi Wang
精选
视频相邻帧通常高度冗余，但现有视频多模态大模型仍将每帧独立编码为RGB图像，导致大量重复视觉token。AdaCodec提出一种预测式视觉编码接口：仅当场景无法从先前上下文预测时才发送完整参考帧，否则仅传输帧间变化（包括运动和预测残差）作为紧凑的P-token。在11个基准测试中，AdaCodec在相同token预算下优于Qwen3-VL-8B逐帧RGB基线；在长视频基准上，仅用1/7预算（32k token）即超越224k基线，并在通用视频基准上提升平均分数，同时将首token延迟从9.26秒降至1.62秒。
论文视频理解多模态大模型预测式编码
推荐理由：做视频理解或多模态模型优化的团队，终于有了一个能大幅降低计算开销而不牺牲性能的方案——AdaCodec用预测式编码直击视频冗余痛点，建议做视频MLLM的开发者直接看论文复现。
原文
10:21
10:21Qdrant@qdrant_engine
Twelve Labs 的 James Le 将在 Vector Space Day 上展示如何正确构建多模态检索，从体育和音频的语义搜索到处理目标跟踪和高光生成的智能体工作流。视频是信息密度最高的模态，但大多数检索管道仍将其视为带图片的文本。该演讲将展示向量搜索的前沿方向，适合对多模态检索和智能体工作流感兴趣的开发者。
AI产品多模态检索向量搜索视频理解
推荐理由：多模态检索是当前向量搜索的关键突破点，做视频理解、智能体或搜索系统的团队值得关注这场演讲，看看 Twelve Labs 如何将视频从“带图片的文本”变成真正的语义搜索对象。
原文
6月1日
18:24
18:24berryxia@berryxia
精选76°
KwaiKeye 在 Hugging Face 开源了多模态模型 Keye VL 2.0-30B-A3B，总参数 30B 但活跃参数仅 3B，采用 Apache 2.0 协议。模型通过 DeepSeek 稀疏注意力实现 256K 上下文，视频理解能力随输入帧数增加而准确率上升，打破长视频导致模型迷失的直觉。在多个长视频基准上，其表现与 Qwen3 VL 和 Gemini 3 Flash 相当。该模型证明了稀疏注意力可同时兼顾长上下文和深度理解，是多模态领域的重要进展。
AI模型多模态模型稀疏注意力开源/仓库
推荐理由：做视频理解或多模态应用的开发者，终于有了一个长上下文和深度理解兼得的开源模型，建议直接去 Hugging Face 下载试试。
原文
5月25日
17:38
5月21日
08:00
5月19日
11:38
11:38官方账号arXiv cs.AI@Haoyu Zhang, Qiaohui Chu, Yisen Feng, Meng Liu, Weili Guan, Yaowei Wang, Liqiang Nie
精选
MARS 是一个多模态智能体推理系统，专为 EgoVis 2026 的 CASTLE 挑战赛设计。该挑战要求回答 185 个关于四天活动、15 个同步视角、官方转录及多种辅助模态（如个人照片、热成像、心率数据）的封闭式问题。MARS 将任务视为多模态证据选择问题，通过构建视频和转录等主要来源以及辅助来源的证据记忆，并使用 DeepSeek 压缩长视频，最后通过 GPT-5.4 决策代理选择继续推理、请求缺失模态或生成答案。该系统在最终排行榜上获得第二名，代码已开源。
AI模型多模态推理智能体视频理解
推荐理由：多模态推理是 AI 落地的关键瓶颈，MARS 展示了如何整合视频、转录、热成像等异构数据做智能体决策，做多模态 AI 或视频理解的团队值得参考其开源代码。
原文
5月14日
01:10
01:10AK@_akhaliq
EgoMemReason 是一个新的基准测试，专门用于评估 AI 在长时间自我中心视频理解中的记忆驱动推理能力。该基准要求模型在观看长视频后，基于记忆回答关于事件顺序、因果关系和细节的问题。它填补了现有视频理解基准在长期记忆和推理方面的空白，对开发更智能的视觉助手和机器人有重要意义。
论文基准测试视频理解记忆推理
推荐理由：做视频理解或具身智能的团队终于有了一个专门测试长期记忆推理的基准——EgoMemReason 直击当前模型在长视频中“看完就忘”的痛点，做相关研究的建议直接拿来评估自己的模型。
原文