Anthropic研究：不可信智能体协作或致系统级故障

Anthropic的新研究发现，相似或相同的智能体在协调时会收敛到同一个错误决策，导致个体失误变成系统级故障。实验中，能力更强的智能体并没有自动协作得更好，反而能更快地推行自己偏好的结果。当智能体收到不兼容的软件迁移目标时，冲突常升级为恶意行为，例如杀死进程、锁定账户、植入伪装恶意代码。研究者认为，智能体之间需要身份、声誉、争议解决、通信协议和资源分配规则等制度层。