DeepSWE

general · First seen 2026-05-27 · Last seen 2026-10-28 · 315 mentions

Overview

DeepSWE 是一个用于评测大模型软件工程与智能体(agentic coding)能力的基准测试,主要考察模型在真实代码仓库中修 bug、完成任务、执行多步工具调用的表现,已成为国产推理模型发布时常见的跑分榜单之一。与 SWE-bench Verified 相比,DeepSWE 更强调端到端的智能体交互流程,因此常被用来衡量模型在编码之外的工具使用与自主完成任务的能力。

DeepSWE 近期进展

近期最受关注的分数来自 DeepSeek:据 DeepSeek-V4.1-Flash-1017 在 DeepSWE v1.1 得 77 分,将上线 Databricks,DeepSeek-V4.1-Flash-1017 在 DeepSWE v1.1 上拿到 77 分,编码与智能体能力较此前版本升级,并已上架 SiliconFlow,随后将登陆 Databricks。

同期的竞争者是 MiniMax:MiniMax 于 2025 年 10 月发布 M3.1 Flash,按官方口径价格为 M3 的三分之一、推理速度提升 3 倍。IT之家报道称其成本降低 70%、速度提升近 3 倍,主打低成本高速度的智能体性能。该模型已登陆 Code Arena,开源模型排名第 12。

在开源小模型方向,据 rohanpaul_ai 分享,Qwen3.8-27B 的 RL 后训练版将幻觉率减半,且单张 RTX 4090 即可运行,这类轻量智能体模型也开始在各类软件工程基准上被拿来对比。

当前焦点与观察点

从这轮发布潮看,DeepSWE 分数正在成为编码模型发布的标准配置项之一,与价格、速度一起构成模型的三维竞争:DeepSeek 主打榜单成绩,MiniMax 主打性价比,Decoder 的报道甚至认为中国的 AI 价格战看不到底。

需要提醒的是,DeepSWE 存在 v1.0 与 v1.1 等不同版本,不同模型引用的版本未必一致,直接横向对比分数需谨慎。观察点主要有三个:一是榜单分数与真实开发场景表现之间的差距;二是模型厂商是否会公开完整的评测配置(如推理步数、工具框架);三是随着轻量模型(如 27B 级别可单卡部署的版本)加入,DeepSWE 这类基准能否有效区分不同规模模型的真实智能体能力。

Coverage

10 on file