11:11arXiv cs.AI@Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun LuStreamMemBench是一个针对智能体记忆的流式评估基准,基于EgoLife自我中心流构建两步任务序列。初始任务测试证据使用,后续任务测试反馈与交互经验的复用。基准包含证据回忆、初始证据使用、反馈整合和后续复用四项指标。实验在8个记忆系统、2个基础模型上显示,当前系统在证据使用和反馈转化为可靠行为方面常失败。论文StreamMemBenchEgoLife智能体记忆评估基准测试推荐理由:测测你的智能体记性原文
10:18arXiv cs.AI@Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong多模态模型在长视频理解中,记忆能力成为关键瓶颈。现有基准多聚焦感知与推理,缺乏对记忆的系统评估。北京大学团队提出M³Eval,基于认知心理学设计任务,从信息保留、保真度、抗干扰性等维度评估模型记忆。实验发现,模型在并行视频流中难以保持分离表征,时空记忆可靠性差异大,符号记忆有限。该基准为多模态记忆研究提供了重要资源,揭示了模型记忆与人类记忆的显著差异。论文多模态模型记忆评估视频理解认知心理学基准测试推荐理由:做多模态模型或视频理解的团队,M³Eval 帮你找到模型记忆的短板,看完你会重新思考模型架构设计。原文