论文精选

视频基础模型能否理解直觉物理?分层探测分析

Do Video Foundation Models Understand Intuitive Physics? A Layerwise Probing Analysis

精选理由

这项研究揭示了视频模型理解物理规律的能力差异,对从事视频理解、物理推理或自监督学习的开发者有直接参考价值,建议关注V-JEPA在时间动态建模上的优势。

AI 摘要

该研究通过冻结特征探测方法,在IntPhys2和MVP基准上评估了三种视频基础模型(V-JEPA、VideoMAE、LTX-Video)对直觉物理信息的编码能力。V-JEPA在整体表现上最强,尤其在使用建模时间动态的探测时;VideoMAE表现接近,而LTX-Video虽较弱但仍能提取有效信号。分层分析显示,物理相关信息在早期层最弱,在中后期层最易获取;打乱帧顺序会显著降低性能,尤其在MVP上。结果表明,直觉物理知识在预训练视频表示中可靠涌现,但其可获取性依赖于预训练范式、表示深度和读出机制。

AI 翻译 · 中文

该研究通过冻结特征探测方法,在IntPhys2和MVP基准上评估了三种视频基础模型(V-JEPA、VideoMAE、LTX-Video)对直觉物理信息的编码能力。V-JEPA在整体表现上最强,尤其在使用建模时间动态的探测时;VideoMAE表现接近,而LTX-Video虽较弱但仍能提取有效信号。分层分析显示,物理相关信息在早期层最弱,在中后期层最易获取;打乱帧顺序会显著降低性能,尤其在MVP上。结果表明,直觉物理知识在预训练视频表示中可靠涌现,但其可获取性依赖于预训练范式、表示深度和读出机制。

arXiv cs.AIWe study whether pretrained video foundation models encode intuitive-physics information in their frozen representations, and how this information varies across model families, layers, and probe types. Using frozen-featu