11:36官方账号arXiv cs.AI@Jiale Amber Wang, Kaiyuan Wang, Pengyu NieTestEvo-Bench是一个基于真实Git提交历史的基准,包含测试生成(写新测试捕捉新行为)和测试更新(调整失败测试适配变化)两个任务。当前版本从152个开源Java项目中挖掘了746个测试生成和509个测试更新任务,每个任务都附带环境配置,使用通过率、覆盖率和变异分数作为执行指标。实验使用Claude Opus 4.7和Gemini 3.1 Pro驱动的四个智能体(Claude Code、Gemini CLI、SWE-Agent),在测试生成上最高达77.5%成功率,测试更新上达74.6%。然而,在面对最新任务或低成本限制时成功率显著下降。论文TestEvo-BenchClaude CodeSWE-Agent智能体自动化测试推荐理由:想看看AI能不能真的帮你改测试?这个新基准用真实Git提交来考Claude Code和SWE-Agent,比静态测试更贴近实际开发。原文
03:16官方账号AlphaSignal@AlphaSignalAI卡内基梅隆大学构建SusVibes基准,包含200个真实编程任务,每个任务来自历史上人类曾引入漏洞的开源项目。SWE-Agent(Claude 4 Sonnet)通过功能测试61%,但仅10.5%的解决方案安全,超过80%的工作代码含有漏洞。尝试添加安全警告、让代理识别弱点、揭示漏洞类型三种修复,安全改善甚微,功能准确度下降7个百分点。AI模型SusVibesSWE-AgentClaude 4 Sonnet卡内基梅隆大学代码安全推荐理由:卡内基梅隆的测试发现,编程代理写代码10个里只有1个安全。别信AI代码,一定要做安全审查。原文