21:37
官方账号Decoder@Maximilian Schreiner
精选73°
推荐理由：OpenAI自己查了SWE-Bench Pro，发现三成测试题有毛病，所以不认这个榜了。做AI编程的可以看看。
SWE-Bench Pro
共 6 条相关 AI 资讯
7月9日
21:37
OpenAI 审查了 SWE-Bench Pro 基准测试，发现约30%的任务存在缺陷。该公司已在官网上撤回对该测试的先前认可。SWE-Bench Pro 常被用于评估AI模型（如 GPT-4）的编程能力，但OpenAI指出许多任务存在数据污染或描述不清的问题。
15:46
15:46IT之家（博客/媒体）
精选72°
推荐理由：OpenAI 扒了权威编程基准的皮，发现三成题有坑，想测 AI 写代码别轻信 SWE-Bench Pro 了。
09:23
09:23
shao__meng@shao__meng
shao__meng@shao__meng88°
推荐理由：OpenAI 发现一个流行代码基准有30%的题有问题，分数虚高，直接影响了部署和安全判断。做评测或选模型的人得看这个。
05:30
05:30
官方账号OpenAI@OpenAI
官方账号OpenAI@OpenAI精选78°
推荐理由：OpenAI发现SWE-Bench Pro这个编码基准有70%噪音上限，已经饱和了，不再适合用来衡量最强AI编码能力。
05:28
05:28官方账号OpenAI@OpenAI
官方账号OpenAI@OpenAI推荐理由：OpenAI 公布了一种审计 SWE-Bench Pro 的新方法，结合模型代理和五名资深工程师的独立评审，适合关注基准测试可靠性和自动审计的朋友。
04:11
04:11官方一手OpenAI Blog（博客/媒体）
推荐理由：OpenAI发文说SWE-Bench Pro这个编码基准有噪声问题，做评估的得留个心眼。