精选理由
OpenAI 发现一个流行代码基准有30%的题有问题，分数虚高，直接影响了部署和安全判断。做评测或选模型的人得看这个。
OpenAI 审计发现 SWE-Bench Pro 中约30%的任务存在致命缺陷，包括过严测试、题面欠指定、低覆盖测试和误导性题面。此前公开731题上，前沿模型通过率八个月内从23.3%升至80.3%，但分数飙升主要源于评测噪声而非能力提升。OpenAI 采用自动化质检、人机协同深审和人工标注三层流程，人工审核更常判出“坏题”（约30%）。OpenAI 因此撤回对 SWE-Bench Pro 的推荐，呼吁社区设计更可靠、难刷的编程评测基准。
AI 翻译 · 中文
OpenAI 审计发现 SWE-Bench Pro 中约30%的任务存在致命缺陷，包括过严测试、题面欠指定、低覆盖测试和误导性题面。此前公开731题上，前沿模型通过率八个月内从23.3%升至80.3%，但分数飙升主要源于评测噪声而非能力提升。OpenAI 采用自动化质检、人机协同深审和人工标注三层流程，人工审核更常判出“坏题”（约30%）。OpenAI 因此撤回对 SWE-Bench Pro 的推荐，呼吁社区设计更可靠、难刷的编程评测基准。
SWE-Bench Pro 不再可靠：～30% 任务存在致命缺陷，OpenAI 撤回推荐 背景：OpenAI 为什么要重新审这个榜 准确评测直接关系到部署与安全判断（含 Preparedness Framework）。此前 OpenAI 已指出 SWE-bench Verified 存在设计与污染问题，分数不再反映真实软件工程能力，于是推荐 SWE-Bench Pro——更长 horizon、更贴近真实改动，从公开/私有仓库的历史变更中…