Gary Marcus 用 Meta-Agent 挑战戳破了 Anthropic 的 RSI 叙事,关心 AI 自主性和工程可靠性的开发者值得一读,看完会对当前代理的局限性有清醒认识。
Gary Marcus 针对 Anthropic 近期关于接近递归自我改进(RSI)的暗示提出质疑。他引用了一项名为 Meta-Agent Challenge(MAC)的基准测试,该测试要求 AI 代理在没有人类设计帮助的情况下,自主构建另一个能完成隐藏测试任务的代理。结果显示,当前 AI 代理在数学、科学问答、竞赛编程、软件修复等五个领域,通常无法超越人类设计的强代理方案,仅有少数闭源前沿模型(如 Claude)表现尚可。Marcus 指出,真正的自主不仅需要工具使用,还需预算意识、失败恢复、压力下的克制以及设计迭代的纪律,而当前代理只是强大的执行者,缺乏工程所需的可靠判断力。
Gary Marcus 针对 Anthropic 近期关于接近递归自我改进(RSI)的暗示提出质疑。他引用了一项名为 Meta-Agent Challenge(MAC)的基准测试,该测试要求 AI 代理在没有人类设计帮助的情况下,自主构建另一个能完成隐藏测试任务的代理。结果显示,当前 AI 代理在数学、科学问答、竞赛编程、软件修复等五个领域,通常无法超越人类设计的强代理方案,仅有少数闭源前沿模型(如 Claude)表现尚可。Marcus 指出,真正的自主不仅需要工具使用,还需预算意识、失败恢复、压力下的克制以及设计迭代的纪律,而当前代理只是强大的执行者,缺乏工程所需的可靠判断力。
tl;dr: we aren’t close to RSI, regardless of the hints IPO-bound Anthropic tried to drop last week. Rohan Paul @rohanpaul_ai This paper tests whether today’s AI agents can build better AI agents without human design help…