7月30日
10:38
10:38官方账号arXiv cs.AI@Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou
Setoka基准基于认知与人格心理学理论,定义了用户理解的四个层次:语义记忆、情景记忆、行为模式和人格特质。该基准通过心理测量学流程合成异构用户数据与查询,用于评估记忆增强型个性化智能体。研究评估了3种语言模型结合5种记忆系统在10个合成用户上的表现,发现现有系统在语义记忆检索上表现良好,但在情景记忆上性能下降;在处理行为模式和人格特质理解任务时,由于需要整合碎片化信息,性能进一步下滑。
推荐理由:如果你想了解现有AI智能体到底能多深地理解用户,这个新基准Setoka用心理学理论和方法测出了它们的短板——不只是翻聊天记录,还要推断行为和性格。