ExpertCrowd-SWE发布：100个专家工程任务测试编程智能体

ExpertCrowd-SWE（EC-SWE）是一个新的软件工程基准，包含100个由在职工程师撰写的多文件工程任务，覆盖87个开源项目和11种编程语言。每个任务针对真实仓库的固定 commit 提出变更请求，中位数工单长148词，参考解决方案中位数改动471行。 评测机制上，每个任务配有密封参考答案和任务专属评分器，采用加权、可执行的标准给出部分分；必须通过的阻断项模拟维护者拒绝合并的底线。近半任务附带惰性补丁和对抗性补丁，用于检验评分器能否正确区分。所有任务图像在发布前校准，确保参考答案得1.0分、未改动仓库和无效改动得0分。 评测涵盖七个前沿模型、每个模型五轮运行（共3495次评分运行），使用统一平台为各模型提供原生工具接口。Claude Opus 5.5以67.3%领先，GPT-6 Astra以63.7%紧随，两者差距无统计显著性；Claude Fable 5.1得46.5%，Gemini 3.8 Flash得40.0%，Qwen 3.8 Max、DeepSeek V4.1 Flash和Grok 4.6处于32-34%区间。没有任务被所有模型完全解决，80个任务上没有任何模型在全部五轮中获得满分。团队公开24个任务的环境与结果，保留76个任务以防污染。