Gary Marcus 质疑 Opus 5 的 ARC-AGI-3 提升来自针对性训练

training to benchmarks ≠ getting to AGI

精选理由

Opus 5 的基准高分可能是刷出来的,看看专家怎么拆穿这个骗局。

AI 摘要

Gary Marcus 引用 Ramez Naam 的推文,指出 Opus 5 在 ARC-AGI-3 基准上的成绩提升可能源于针对该评估的专门训练,而非抽象推理能力的普遍增强。该观点质疑当前用基准分数衡量 AGI 进展的有效性。推文获得 4 条回复、1 次转发和 10 个点赞。

原文 · Gary Marcus

training to benchmarks ≠ getting to AGI

training to benchmarks ≠ getting to AGI Ramez Naam @ramez This suggests that Opus 5 's gain on ARC-AGI-3 was the result of specific training to improve on that eval, and not a generalized increase in abstract reasoning. 🔗 View Quoted Tweet 💬 4 🔄 1 ❤️ 10 👀 1478 📊 4 ⚡