11:45
arXiv cs.AI@Yusong Lin, Xinyuan Liang, Haiyang Wang, Qipeng Gu, Siqi Cheng, Jiangui Chen, Shuzhe Wu, Feiyang Pan, Lue Fan, Sanyuan Zhao, Dandan Tu Claw-Anything 是一个新基准,旨在评估大型语言模型代理作为始终在线个人助手的能力。现有系统仅能访问用户数字世界的狭窄部分,限制了上下文感知推理和有效协助。该基准通过三个维度扩展代理上下文:长期活动历史、相互依赖的后端服务以及跨多设备的 GUI 和 CLI 交互。实验显示,GPT-5.5 仅达到 34.5% 的 pass@1,远低于先前基准,突显了当前代理能力与始终在线个人助手需求之间的差距。同时,研究团队发布了自动化数据生成管道,可生成 2000 个训练环境,并将基础模型性能提升 23.7%。
推荐理由:这个基准测试揭示了当前 AI 代理在理解用户完整数字生活方面的巨大短板,做个人助手或智能体开发的团队值得关注——它直接指出了现有系统为何不够智能,并提供了改进方向。