TokenWave.AI 发布 SWE-CoWork:测试智能体协作交接能力的新基准
TokenWave.AI 发布 SWE-CoWork 基准,专门评估编码智能体在模拟团队环境中的工作交接能力。基准包含 101 个真实开源仓库的 101 项任务,覆盖 11 种编程语言、12 个应用领域和 17 种职场工具。 每项任务从一个简短的交接开始,智能体需要在模拟职场中搜索任务板和版本化文档,向 26 个模拟同事询问缺失细节,并在回复改变需求时修改代码,最终提交通过隐藏测试的补丁。测试结果很严峻:表现最好的模型只完整完成 101 项任务中的 8 项,Claude Opus 5.5 有超过一半的失败检查发生在已获得需求之后,说明开放性问题和已确认需求在交接过程中都会丢失。 这个基准直指当前智能体开发中被忽视的环节:让智能体像数字员工一样接手同事未完成的工作。论文、代码和评测框架已在 arXiv(2611.20218)、GitHub 和 Hugging Face 上公开,开发者可以直接复现或扩展这套评测。
Current read
做智能体开发的朋友可以看看这个新基准。SWE-CoWork 模拟了一个有任务板、文档和 26 个虚拟同事的工作场景,让智能体接手别人干到一半的活。结果挺扎眼:101 个任务最好的模型只完成 8 个,连 Claude Opus 5.5 都在拿到需求后丢要求。想找评测协作型智能体的方法,这套框架是现成的。
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.