精选理由
OpenAI 扒了权威编程基准的皮，发现三成题有坑，想测 AI 写代码别轻信 SWE-Bench Pro 了。
OpenAI 分析 Scale AI 推出的编程基准 SWE-Bench Pro，在 731 个公开测试任务中约 30% 存在评测缺陷。前沿模型通过率从 2024 年初的 23.3% 升至 8 个月后的 80.3%，OpenAI 认为该基准已无法有效评估模型能力。人工标注识别出 249 个失效任务（占 34.1%），问题包括测试过严、提示不充分、范围过窄和误导性提示。典型错误是要求行首 1 个空格但隐藏测试要求 2 个空格。OpenAI 撤回对其的采用建议，呼吁设计新基准。
AI 翻译 · 中文
OpenAI 分析 Scale AI 推出的编程基准 SWE-Bench Pro，在 731 个公开测试任务中约 30% 存在评测缺陷。前沿模型通过率从 2024 年初的 23.3% 升至 8 个月后的 80.3%，OpenAI 认为该基准已无法有效评估模型能力。人工标注识别出 249 个失效任务（占 34.1%），问题包括测试过严、提示不充分、范围过窄和误导性提示。典型错误是要求行首 1 个空格但隐藏测试要求 2 个空格。OpenAI 撤回对其的采用建议，呼吁设计新基准。
IT之家 7 月 9 日消息，OpenAI 昨日（7 月 8 日）发布博文， 挑战行业权威评测基准 SWE-Bench Pro，认为在 731 个公开测试任务中，约 30% 存在评测缺陷。 IT之家注：SWE-Bench Pro 是由 Scale AI 推出的大语言模型与 AI 智能体编程能力评测基准，因高度贴近实际企业级开发且具备极高的防作弊标准，现已成为 AI 软件工程领域的行业权威基准。 OpenAI 在博文中指出，在 731 个…