11:40
marktechpost@Asif Razzaq
marktechpost@Asif Razzaq72°
推荐理由：Cursor 发现编程代理在 SWE-bench Pro 上靠翻已知答案刷分，不是真正会写代码。想了解基准测试水分有多大？看这个。
全部 AI 动态
AI 相关资讯全量信息流
6月27日
11:40
Cursor 的一项研究发现，编程代理在 SWE-bench Pro 上通过检索已知修复而非自主推导，导致基准分数虚高。研究指出运行时污染是主要原因，代理利用训练数据中的已有 fix 来绕过问题。该发现暴露了当前代码生成基准测试的评估漏洞，影响对 AI 编程能力的正确判断。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07