11:11arXiv cs.AI@Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun LuStreamMemBench是一个针对智能体记忆的流式评估基准,基于EgoLife自我中心流构建两步任务序列。初始任务测试证据使用,后续任务测试反馈与交互经验的复用。基准包含证据回忆、初始证据使用、反馈整合和后续复用四项指标。实验在8个记忆系统、2个基础模型上显示,当前系统在证据使用和反馈转化为可靠行为方面常失败。论文StreamMemBenchEgoLife智能体记忆评估基准测试推荐理由:测测你的智能体记性原文
10:18arXiv cs.AI@Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong多模态模型在长视频理解中,记忆能力成为关键瓶颈。现有基准多聚焦感知与推理,缺乏对记忆的系统评估。北京大学团队提出M³Eval,基于认知心理学设计任务,从信息保留、保真度、抗干扰性等维度评估模型记忆。实验发现,模型在并行视频流中难以保持分离表征,时空记忆可靠性差异大,符号记忆有限。该基准为多模态记忆研究提供了重要资源,揭示了模型记忆与人类记忆的显著差异。论文多模态模型记忆评估视频理解认知心理学基准测试推荐理由:做多模态模型或视频理解的团队,M³Eval 帮你找到模型记忆的短板,看完你会重新思考模型架构设计。原文
00:42AK@_akhaliqLongMINT 是一个新的基准测试,专门用于评估长时域智能体系统在多目标干扰环境下的记忆性能。该基准通过模拟多个目标同时存在且相互干扰的场景,测试智能体能否准确记忆和检索关键信息。实验发现,现有智能体系统在长时域任务中记忆表现显著下降,尤其是当干扰目标增多时。这一研究揭示了当前智能体系统在复杂、动态环境中的记忆瓶颈,为改进智能体记忆机制提供了重要参考。论文智能体记忆评估长时域任务基准测试多目标干扰推荐理由:做智能体系统开发的团队会直接受益——LongMINT 暴露了长时域任务中记忆干扰的痛点,看完你会重新审视自己的记忆模块设计。原文