12:57
官方账号arXiv cs.AI@Manyi Wang, Junjielong Xu, Pinjia He
推荐理由：做代码基准测试的朋友可以看看，PAIChecker能自动揪出PR和Issue配错的情况，SWE-bench上准确率超九成。
PAIChecker
共 1 条相关 AI 资讯
7月31日
12:57
PAIChecker是一个多智能体系统，用于检测SWE-bench类基准中PR与Issue配对不对齐的问题。研究者在SWE-bench Verified实例中发现13.6%存在不对齐，涵盖五种模式和十一个细粒度场景。PAIChecker采用三阶段设计，结合特定模式识别、跨智能体标签合成和代码级验证。在SWE-Gym和SWE-bench Multilingual上，该系统分别达到92.12%和91.67%的二元准确率，优于四种LLM后端。