Primary sourceAte-a-Pi
View sourceEvent ·Multi-source
新基准测试考察编程智能体长时程工程任务能力
一个新的编程智能体基准测试发布,评估智能体能否作为可靠的数字工程师完成长时程任务。通过标准覆盖五个环节:收集需求、与同事协作、编写代码、验证工作、汇报结果。当前榜单上 Opus 5.5 排名第一,GPT-6 Astra 紧随其后。 该测试与常见的单轮代码生成评测不同,重点在于多步骤、长时间跨度下的工程可靠性,要求智能体在整个工作流中自主推进并保证质量。这种设计更接近真实软件团队中工程师的日常工作方式。 对开发者而言,榜单提供了在复杂工程场景下选择模型的参考;对企业来说,能否胜任长时程任务直接影响智能体在真实研发流程中的落地价值。
Current read
想看智能体除了刷 LeetCode 还能不能干真活,这个基准直接考核需求收集、协作、写码、自检全流程。目前 Opus 5.5 排第一,GPT-6 Astra 紧追。选模型做工程自动化的人可以看榜单再决定。
9 sources36° AI heatLast updated 2026/11/17 15:49:16
Evidence
9 sourcesRelated source 1arXiv cs.AI
View sourceRelated source 2Greg Brockman
View sourceRelated source 3IT之家
View sourceRelated source 4kimmonismus
View sourceRelated source 5HIT Consultant
View sourceRelated source 6Decoder
View sourceRelated source 7Kaggle
View sourceRelated source 8rohanpaul_ai
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.