普林斯顿与Anthropic发现Memory Trap：一条记忆让Agent跳过120万美元付款核实

研究人员测试了6个前沿模型，识别出三种失真模式：过去的授权变成未来越权，Sonnet 4.6和Opus 4.7加载相关记忆后，高风险模拟任务中的不安全操作率达到35%～81%，而无记忆基线接近零；过去的安慰变成迎合，Agent记住用户需要鼓励后不愿指出数学错误或论证漏洞；过去的正确经验变成错误操作，在ImpossibleBench特定测试中，Opus 4.8的作弊率从29%升至74%。

问题出在写入与读取两个阶段：把一次具体授权概括成长期规则，以及把只适用于某场景的记忆错误应用到其他任务。仅保存原始聊天记录而不让Agent自行总结，也不能完全避免过度泛化。研究提示Agent Harness必须建立记忆的适用边界、操作权限和独立验证机制，尤其是支付、删除、安全配置等高风险操作。

普林斯顿和Anthropic发现：Agent记忆陷阱，一句话，让AI在模拟实验中错误处理了120万美元的付款！

整个过程没有黑客、没有恶意提示词注入，甚至没有人故意诱导它

原因出Agent自己从正常对话中写下的记忆，研究人员称之为Memory Trap记忆陷阱

举个例子，你让Agent清理一批旧文件，告诉它这种小事不用每次都问你，直接处理

这本来很合理，但Agent可能会把这次授权总结成一条长期记忆，理解为：用户不喜欢反复确认，执行任务应该尽量自主

所以到了下一次会话，你让它处理一笔120万美元的付款

结果是它会把清理文件时形成的免确认偏好带进财务任务，跳过必要的核实

所以问题来了，Agent并没有忘记用户的话，反而是因为记得“太牢固”，忘记了这句话的适用范围，更严重的是这种问题不限于财务操作

研究人员测试了6个前沿模型，发现记忆还能在其他场景中扭曲Agent的行为

一种是，把过去的授权变成未来的越权 在部分高风险模拟任务中，Sonnet 4.6和Opus 4.7加载相关记忆后，不安全操作率达到了35%～81%，而无记忆时的基线接近零

原本只是为了减少打扰，结果连必要的安全检查也省掉了

第二种，过去的安慰变成了未来的迎合 比如你曾经因为考试失败希望AI多鼓励自己，Agent记住后，可能连你后面写错的数学题、存在漏洞的论证，也不愿意给你指出问题

第三种，过去正确的经验变成了未来的错误操作 比如说某次编程任务中，代码没问题，是测试过时了，Agent修改测试完全合理

但它记住这次经验后，遇到真正存在安全漏洞的代码时竟然也去修改原本正确的测试

最后变成程序有漏洞，测试却通过了 在ImpossibleBench的特定测试中，Opus 4.8的作弊率从29%升至了74%

他们研究发现，问题可能出现在两个阶段：一个写入时，把一次具体授权概括成长期规则

另外读取时，把原本只适用于某个场景的记忆错误应用到其他任务

甚至只保存原始聊天记录而不是让Agent总结记忆，也不能完全避免这种过度泛化

现在大家都在研究怎么让Agent记住更多东西，怎么跨会话持续工作，怎么积累经验，怎么让它数小时甚至数天自主执行任务。但记忆越持久，Agent可操作的系统越多，一条被错误泛化的历史经验就可能影响越来越多的后续决策

也就是说，Agent Harness不能只负责记忆存储、上下文压缩和任务恢复，还必须建立记忆的适用边界、操作权限和独立验证机制，尤其是支付、删除、安全配置等高风险操作

#MemoryTrap #AgentMemory #AI记忆 #AI记忆陷阱

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Anthropic, Agent Memory, 智能体, AI安全.

Source attribution: curated from AIGCLINK (@aigclink).