Event ·Multi-source

TokenWave AI 发布 SWE-CoWork:考 coding agent 能否像新员工一样在真实职场协作

TokenWave AI 推出 SWE-CoWork 基准,共含 101 个任务,模拟真实职场环境来评测 AI coding agent。测试发现,把完整需求说明提前给到 GPT-6 Astra,其通过检查数提升 16 个点,但它在 101 个任务里也只完整完成了 8 个。 与 SWE-Bench 等直接给出完整书面任务的传统 benchmark 不同,SWE-CoWork 让 agent 处在一个模拟的工作场所中,其中 82% 的需求信息掌握在虚拟同事手里,agent 只有主动向正确的人提问才能弄清要做什么。基准还把每个失败的检查项追溯到一条具体需求,便于定位失败原因。 成绩上,表现最好的模型能通过约 63% 的单项检查,但 101 个任务里完整跑完的不足 8%。这说明当前 coding agent 在多轮沟通、澄清需求和端到端交付上的能力远弱于写代码本身,也解释了为什么这些基准开始像评估一名新入职员工的第一个星期。

Current read

TokenWave AI 的 SWE-CoWork 把 agent 扔进模拟职场,82% 的需求要靠主动问虚拟同事才知道,101 个任务里最强模型也只完整做完不到 8 个。这和 SWE-Bench 那种给全量需求再测分数完全是两回事,做 agent 开发或选型的人都该看看失败都卡在哪一步。

11 sources44° AI heatLast updated 2026/11/17 16:37:08

Evidence

11 sources
Primary sourcerohanpaul_ai
View source
Related source 1arXiv cs.AI
View source
Related source 3Artificial Analysis
View source
Related source 4HIT Consultant
View source
Related source 8Yuchen Jin
View source
Related source 9TestingCatalog
View source
Related source 10Greg Brockman
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.