AI模型精选

Anthropic 暗示接近 RSI?Gary Marcus 驳斥:Meta-Agent 挑战显示 AI 代理远未自主

tl;dr: we aren’t close to RSI, regardless of the hints IPO-bound Anthropic tried to drop last week.

精选理由

Gary Marcus 用 Meta-Agent 挑战戳破了 Anthropic 的 RSI 叙事,关心 AI 自主性和工程可靠性的开发者值得一读,看完会对当前代理的局限性有清醒认识。

AI 摘要

Gary Marcus 针对 Anthropic 近期关于接近递归自我改进(RSI)的暗示提出质疑。他引用了一项名为 Meta-Agent Challenge(MAC)的基准测试,该测试要求 AI 代理在没有人类设计帮助的情况下,自主构建另一个能完成隐藏测试任务的代理。结果显示,当前 AI 代理在数学、科学问答、竞赛编程、软件修复等五个领域,通常无法超越人类设计的强代理方案,仅有少数闭源前沿模型(如 Claude)表现尚可。Marcus 指出,真正的自主不仅需要工具使用,还需预算意识、失败恢复、压力下的克制以及设计迭代的纪律,而当前代理只是强大的执行者,缺乏工程所需的可靠判断力。

AI 翻译 · 中文

Gary Marcus 针对 Anthropic 近期关于接近递归自我改进(RSI)的暗示提出质疑。他引用了一项名为 Meta-Agent Challenge(MAC)的基准测试,该测试要求 AI 代理在没有人类设计帮助的情况下,自主构建另一个能完成隐藏测试任务的代理。结果显示,当前 AI 代理在数学、科学问答、竞赛编程、软件修复等五个领域,通常无法超越人类设计的强代理方案,仅有少数闭源前沿模型(如 Claude)表现尚可。Marcus 指出,真正的自主不仅需要工具使用,还需预算意识、失败恢复、压力下的克制以及设计迭代的纪律,而当前代理只是强大的执行者,缺乏工程所需的可靠判断力。

Gary Marcustl;dr: we aren’t close to RSI, regardless of the hints IPO-bound Anthropic tried to drop last week. Rohan Paul @rohanpaul_ai This paper tests whether today’s AI agents can build better AI agents without human design help