AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：变异测试×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月28日
10:30
5月22日
10:44
10:44arXiv: DeepSeek@Yuxuan Sun, Yuze Zhao, Yufeng Wang, Yao Du, Zhiyuan Ma, Jinbo Wang, Mengdi Zhang, Kai Zhang, Zhenya Huang
精选
SWE-Mutation 是一个新基准，用于评估大语言模型（LLM）生成的测试套件的质量。它通过引入系统性的变异解决方案来“欺骗”测试套件，从而衡量测试套件的判别能力。该基准包含从800个原始实例衍生的2,636个变异变体，并覆盖九种编程语言。实验表明，即使是DeepSeek-V3.1，其验证率也仅为10.20%，检测率为36.15%，暴露了当前LLM在生成可靠测试套件方面的严重不足。该研究还提出了一种智能体驱动的变异策略，使测试套件更难被欺骗，从而更真实地反映LLM的能力缺陷。
论文LLM评估测试套件软件工程变异测试DeepSeek
推荐理由：软件工程团队和AI研究者终于有了一个严谨的测试套件质量评估工具——SWE-Mutation能帮你判断LLM生成的测试是否真的可靠，做自动化测试或代码修复的开发者值得关注。
原文
5月20日
10:47
10:47arXiv: DeepSeek@Dawei Tian, Jiakun Liu, Yun Peng, Yichen Zhang, Jianlei Chi, Jun Sun, Xiaohong Su
精选
MuMuTestUp 是一个基于变异测试的多智能体框架，用于自动更新因代码变更而过时的测试用例。它通过三个专门智能体（变异分析、覆盖分析、语义检索）分别强化断言、定位未覆盖行/分支、处理幻觉问题，解决了现有方法忽略断言充分性、依赖粗粒度行覆盖、无法处理 LLM 幻觉查询的三大局限。研究还构建了包含 571 个样本的 PRBENCH 数据集，在开源和闭源 LLM 上均优于现有基线。该工作对持续集成/持续部署（CI/CD）环境下的测试维护有重要价值。
论文测试用例更新多智能体变异测试CI/CDPRBENCH
推荐理由：测试维护是 CI/CD 的痛点，MuMuTestUp 用变异测试和多智能体协作解决了断言弱和覆盖不全的问题，做自动化测试或持续集成的团队值得关注。
原文