精选理由
这项评估戳穿了编码智能体“自我改进”的泡沫，做AI研发的团队会发现，当前智能体在真正的研究创新上远不如人类，值得点开看看差距在哪。
IntologyAI发布NanoGPT-Bench评估，测试编码智能体（如Codex、Claude Code、Autoresearch）在AI研发问题上的表现。结果显示，这些智能体仅恢复了人类进展的9.3%，大部分计算资源用于超参数调优，很少尝试算法研究。Claude Code和Autoresearch在算法研究推理上稍多，但仍回避实现。该评估基于NanoGPT Speedrun竞赛，标准化了5个月的世界纪录窗口，完全自主且端到端，无人类干预或互联网访问。
AI 翻译 · 中文
IntologyAI发布NanoGPT-Bench评估，测试编码智能体（如Codex、Claude Code、Autoresearch）在AI研发问题上的表现。结果显示，这些智能体仅恢复了人类进展的9.3%，大部分计算资源用于超参数调优，很少尝试算法研究。Claude Code和Autoresearch在算法研究推理上稍多，但仍回避实现。该评估基于NanoGPT Speedrun竞赛，标准化了5个月的世界纪录窗口，完全自主且端到端，无人类干预或互联网访问。
Very interesting results from this NanoGPT-Bench eval. There is so much talk about self-improving agents. But can coding agents do real AI R&D? @IntologyAI reports that Codex, Claude Code, and Autoresearch recover on…