15:46IT之家（博客/媒体）
精选72°
推荐理由：OpenAI 扒了权威编程基准的皮，发现三成题有坑，想测 AI 写代码别轻信 SWE-Bench Pro 了。
Scale AI
共 4 条相关 AI 资讯
7月9日
15:46
OpenAI 分析 Scale AI 推出的编程基准 SWE-Bench Pro，在 731 个公开测试任务中约 30% 存在评测缺陷。前沿模型通过率从 2024 年初的 23.3% 升至 8 个月后的 80.3%，OpenAI 认为该基准已无法有效评估模型能力。人工标注识别出 249 个失效任务（占 34.1%），问题包括测试过严、提示不充分、范围过窄和误导性提示。典型错误是要求行首 1 个空格但隐藏测试要求 2 个空格。OpenAI 撤回对其的采用建议，呼吁设计新基准。
6月22日
16:32
16:32
AI Will@FinanceYF5
AI Will@FinanceYF5推荐理由：Calvin Zhang在Scale AI做过Humanity's Last Exam，现在去OpenAI负责evals，可能意味着更严的模型测试要来了。
16:32
16:32AI Will@FinanceYF5
AI Will@FinanceYF5推荐理由：Calvin Zhang 从 Scale AI 跳槽到 OpenAI，专攻模型评测，这行的人才动向很说明问题。
6月18日
12:46
12:46AI Will@FinanceYF5
AI Will@FinanceYF5推荐理由：看看AI巨头们最近都在买谁：SpaceX买xAI和Cursor，Google买Wiz，Meta买Scale AI。Harvey CEO说买公司主要是抢人，不是抢技术。