主要来源OpenAI
查看原文事件专题 · 多源确认
OpenAI审计发现SWE-Bench Pro已饱和,建议停用
OpenAI对SWE-Bench Pro进行了审计,发现该基准存在约70%的噪音上限,已无法可靠衡量前沿编码能力。该基准在业界广泛使用,但目前已被认为饱和。OpenAI决定撤回之前推荐研究社区使用该基准作为主要编码评估的建议。
当前结论
OpenAI发现SWE-Bench Pro这个编码基准有70%噪音上限,已经饱和了,不再适合用来衡量最强AI编码能力。
11 个信源78° AI 热度最后更新 2026/7/8 20:45:48
证据链
相关来源 1shao__meng
查看原文相关来源 2Decoder
查看原文相关来源 3IT之家
查看原文相关来源 4AI Will
查看原文相关来源 5@koltregaskes
查看原文相关来源 6Greg Brockman
查看原文相关来源 7Genspark
查看原文相关来源 8pandaily
查看原文相关来源 9小互
查看原文相关来源 10Ethan Mollick
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。