精选理由
做多模态模型或视频理解的团队，M³Eval 帮你找到模型记忆的短板，看完你会重新思考模型架构设计。
多模态模型在长视频理解中，记忆能力成为关键瓶颈。现有基准多聚焦感知与推理，缺乏对记忆的系统评估。北京大学团队提出M³Eval，基于认知心理学设计任务，从信息保留、保真度、抗干扰性等维度评估模型记忆。实验发现，模型在并行视频流中难以保持分离表征，时空记忆可靠性差异大，符号记忆有限。该基准为多模态记忆研究提供了重要资源，揭示了模型记忆与人类记忆的显著差异。
AI 翻译 · 中文
多模态模型在长视频理解中，记忆能力成为关键瓶颈。现有基准多聚焦感知与推理，缺乏对记忆的系统评估。北京大学团队提出M³Eval，基于认知心理学设计任务，从信息保留、保真度、抗干扰性等维度评估模型记忆。实验发现，模型在并行视频流中难以保持分离表征，时空记忆可靠性差异大，符号记忆有限。该基准为多模态记忆研究提供了重要资源，揭示了模型记忆与人类记忆的显著差异。
As multi-modal models advance towards long-form video understanding, memory emerges as a critical capability. Despite substantial efforts in developing video datasets and benchmarks, existing works primarily focus on per…