SWE-CoWork:把编程智能体放进模拟组织里考核的 101 项任务基准
SWE-CoWork 是一个新的编程智能体基准,包含 101 项开发任务,覆盖 101 个真实仓库、11 种编程语言和 12 个应用领域。每项任务把智能体放进一个模拟的工程组织,面对 26 名职责不同、知识受限的虚拟同事,需要从简短的交接信息出发,恢复散落在同事和工单记录中的需求、处理矛盾信息,并用私有可执行测试来验收交付。对 11 个模型的评估显示,部分实现与完整交付之间存在巨大差距:排名前二的模型能通过约 63% 的 fail-to-pass(F2P)测试,但完整完成的任务不到 8%。提前给出完整需求能把 Seed Evolving 和 GPT-6 Astra 的 F2P 提高约 16 个百分点,但完整任务成功率不变。轨迹分析显示失败贯穿整个交付流程:Claude-Opus-5.5 平均能把 93% 的首次提问发给对应的负责同事,却只拿到 64% 的同事持有需求;被搁置的追问无人跟进,甚至有 31% 被标记为完成的需求最终没通过测试。这说明需求的全流程跟踪——澄清、实现、验证、交接——是自主软件工程可靠性的关键瓶颈。 与 SWE-bench 这类只考单仓库改码的基准不同,SWE-CoWork 考的是“数字员工”在组织协作场景下的完整交付能力,更贴近真实工作中的工程师角色。对做编程智能体和 Agent 工作流的开发者来说,它提供了一个可复现的诊断框架,能定位需求追踪、协作沟通和验证环节的具体失败模式。
Current read
这个新基准不是让智能体改几个文件,而是扔进一个有 26 个虚拟同事的模拟公司里干完整活。最强的模型能通过 63% 的测试,但完整交付不到 8%,差距非常直观。做 Agent 工作流或编程助手的人可以拿它来诊断自己系统卡在哪一环。
Evidence
10 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.