elvis@omarsar0精选76IntologyAI发布NanoGPT-Bench评估，测试编码智能体（如Codex、Claude Code、Autoresearch）在AI研发问题上的表现。结果显示，这些智能体仅恢复了人类进展的9.3%，大部分计算资源用于超参数调优，很少尝试算法研究。Claude Code和Autoresearch在算法研究推理上稍多，但仍回避实现。该评估基于NanoGPT Speedrun竞赛，标准化了5个月的世界纪录窗口，完全自主且端到端，无人类干预或互联网访问。AI产品编码智能体AI研发NanoGPT-Bench超参数调优算法研究推荐理由：这项评估戳穿了编码智能体“自我改进”的泡沫，做AI研发的团队会发现，当前智能体在真正的研究创新上远不如人类，值得点开看看差距在哪。
elvis@omarsar0elvis@omarsar0elvis@omarsar0elvis@omarsar0