11:41官方账号arXiv cs.LG@Qinyuan Ye, Yu Li, Yada Pruksachatkun, Jiaxin Zhang, Chien-Sheng Wu研究人员对两种基于记忆的自我改进智能体方法进行了重新评估,通过多次运行量化方差并随机打乱任务顺序。实验表明,智能体评估在复杂环境和多步骤任务中存在固有噪声,自我改进循环会进一步放大这种噪声。研究发现智能体的改进高度依赖于任务顺序,先前研究采用的默认排序构成了隐式课程,成为成功的隐藏前提。通过分析智能体的记忆,研究者假设任务和环境规范不足是导致脆弱性的原因,并通过添加更详细的信息部分验证了这一假设。论文self-improving agentsmemory-based methodsAI安全推荐理由:这篇论文揭示了自我改进智能体的脆弱性,指出任务顺序和规范不足会影响其性能,对AI安全研究有重要启示。原文稍后读已读值得跟进有用关注 self-improving agents