精选理由
OpenAI自己查了SWE-Bench Pro，发现三成测试题有毛病，所以不认这个榜了。做AI编程的可以看看。
OpenAI 审查了 SWE-Bench Pro 基准测试，发现约30%的任务存在缺陷。该公司已在官网上撤回对该测试的先前认可。SWE-Bench Pro 常被用于评估AI模型（如 GPT-4）的编程能力，但OpenAI指出许多任务存在数据污染或描述不清的问题。
AI 翻译 · 中文
OpenAI 审查了 SWE-Bench Pro 基准测试，发现约30%的任务存在缺陷。该公司已在官网上撤回对该测试的先前认可。SWE-Bench Pro 常被用于评估AI模型（如 GPT-4）的编程能力，但OpenAI指出许多任务存在数据污染或描述不清的问题。
OpenAI reviewed SWE-Bench Pro, a widely used test for measuring AI models' programming skills, and found roughly 30 percent of its tasks are broken. The company is pulling its earlier endorsement of the benchmark. The ar…