11:36
官方账号arXiv cs.AI@Jiale Amber Wang, Kaiyuan Wang, Pengyu Nie
推荐理由：想看看AI能不能真的帮你改测试？这个新基准用真实Git提交来考Claude Code和SWE-Agent，比静态测试更贴近实际开发。
TestEvo-Bench
共 1 条相关 AI 资讯
7月3日
11:36
TestEvo-Bench是一个基于真实Git提交历史的基准，包含测试生成（写新测试捕捉新行为）和测试更新（调整失败测试适配变化）两个任务。当前版本从152个开源Java项目中挖掘了746个测试生成和509个测试更新任务，每个任务都附带环境配置，使用通过率、覆盖率和变异分数作为执行指标。实验使用Claude Opus 4.7和Gemini 3.1 Pro驱动的四个智能体（Claude Code、Gemini CLI、SWE-Agent），在测试生成上最高达77.5%成功率，测试更新上达74.6%。然而，在面对最新任务或低成本限制时成功率显著下降。