#SWE-Bench Pro

共 9 条 · 7 天 0 条 · 30 天 0 条

智能体 2 Argus 1 GPT-5.6 1 OpenAI 1 RWKV6 1 Tau2Bench 1 TrajDebug 1 TrajErrBench 1

信息流里打上「SWE-Bench Pro」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月7日

TrajDebug：追踪错误生命周期识别长程智能体轨迹关键失败

TrajDebug能从长轨迹里精准揪出导致最终失败的那个错误，486条真实数据验证过，比现有方法都靠谱。

#TrajDebug #TrajErrBench #SWE-Bench Pro #Tau2Bench

arXiv cs.AI@Yunjia Qi 等 13 人原文

8月6日

Argus：面向长时程推理的通用智能体运行时

Argus 这个智能体运行时，SWE-Bench Pro 拿到 78%，比 Direct Copilot 高 19 个点，还会自我进化省 token，挺新鲜。

#Argus #智能体 #SWE-Bench Pro #RWKV6

arXiv cs.AI@Boxiu Li 等 26 人原文

7月31日

模型中美对照多源确认82°08:47

OpenAI下调GPT-5.6系列价格，Luna输入降80%

GPT-5.6 Luna输入价格砍了八成，比GPT-5.5还强，代码和网络安全分数都涨了，性价比碾压Gemini。

#GPT-5.6 #OpenAI #降价 #SWE-Bench Pro

小互@imxiaohu11 个信源在谈原文

7月9日

行业 Agent 与开发者多源确认精选73°21:37

OpenAI 发现热门AI编程测试SWE-Bench Pro中约30%任务有缺陷

OpenAI自己查了SWE-Bench Pro，发现三成测试题有毛病，所以不认这个榜了。做AI编程的可以看看。

#OpenAI #SWE-Bench Pro #基准测试 #编程能力评测

官方账号Decoder@Maximilian Schreiner11 个信源在谈原文

行业 Agent 与开发者多源确认精选72°15:46

OpenAI 指出 SWE-Bench Pro 约 30% 评测任务存在缺陷

OpenAI 扒了权威编程基准的皮，发现三成题有坑，想测 AI 写代码别轻信 SWE-Bench Pro 了。

#OpenAI #SWE-Bench Pro #Scale AI #编程助手

IT之家11 个信源在谈原文

行业多源确认88°09:23

SWE-Bench Pro 约30%任务存在缺陷，OpenAI 撤回推荐

OpenAI 发现一个流行代码基准有30%的题有问题，分数虚高，直接影响了部署和安全判断。做评测或选模型的人得看这个。

#SWE-Bench Pro #OpenAI #基准测试 #代码评测

shao__meng@shao__meng11 个信源在谈原文

行业中美对照多源确认精选78°05:30

OpenAI审计发现SWE-Bench Pro已饱和，建议停用

OpenAI发现SWE-Bench Pro这个编码基准有70%噪音上限，已经饱和了，不再适合用来衡量最强AI编码能力。

#OpenAI #SWE-Bench Pro #基准测试 #编程能力

官方账号OpenAI@OpenAI11 个信源在谈原文

行业多源确认05:28

OpenAI 用模型驱动代理和人工评审审计 SWE-Bench Pro

OpenAI 公布了一种审计 SWE-Bench Pro 的新方法，结合模型代理和五名资深工程师的独立评审，适合关注基准测试可靠性和自动审计的朋友。

#SWE-Bench Pro #OpenAI #模型驱动代理 #AI审计

官方账号OpenAI@OpenAI11 个信源在谈原文

行业中美对照官方一手04:11

OpenAI分析揭示SWE-Bench Pro编码基准的可靠性问题

OpenAI发文说SWE-Bench Pro这个编码基准有噪声问题，做评估的得留个心眼。

#OpenAI #SWE-Bench Pro #编码基准 #评估

官方一手OpenAI Blog11 个信源在谈原文