21:37
官方账号Decoder@Maximilian Schreiner
精选73°
推荐理由：OpenAI自己查了SWE-Bench Pro，发现三成测试题有毛病，所以不认这个榜了。做AI编程的可以看看。
编程能力评测
共 1 条相关 AI 资讯
7月9日
21:37
OpenAI 审查了 SWE-Bench Pro 基准测试，发现约30%的任务存在缺陷。该公司已在官网上撤回对该测试的先前认可。SWE-Bench Pro 常被用于评估AI模型（如 GPT-4）的编程能力，但OpenAI指出许多任务存在数据污染或描述不清的问题。