09:23
官方一手arXiv: DeepSeek@Zhuo Chen, Boyang Wang, Xiyue Zhang, Xiaoyun Xu, Ahmad-Reza Sadeghi, Stjepan Picek, Lichao Wu
推荐理由：这篇论文提出了一个名为PRGuard的新工具，用于评估自动代码审查工具在拉取请求中的安全价值，与现有工具相比，它能够更准确地识别目标漏洞，值得一看。
漏洞识别
共 1 条相关 AI 资讯
8月27日
09:23
自动代码审查工具在拉取请求中越来越受欢迎，但评估通常只测量它们是否阻止恶意更改。一个阻止可能是由一个无关的问题触发的，而不是使PR不安全的漏洞；修复报告的问题可能会使目标缺陷可利用。我们将这种差异称为判决-诊断（VD）差距。我们提出了MalPR-Bench，这是一个基于机制的基准，包含89个恶意PR和50个配对的良性控制，涵盖44个存储库和8个语言家族。每个恶意案例都有一个预先提交的规范，指定目标漏洞、接受的机制描述、所需的存储库证据和未获得信用分的离目标发现。审查分别对判决正确性、目标漏洞识别和证据验证进行评分；一个可归因的阻止需要所有三个。我们引入了PRGuard，这是一个可归因的PR安全审查器，它使用确定性、非执行工具和有界检索来构建候选漏洞并验证其前提与存储库证据。在31个常见覆盖率保留的恶意PR中，PRGuard和CodeRabbit的阻止总数相似（22/31与24/31），但PRGuard识别出22个目标漏洞，而CodeRabbit为16个，相差1.38倍。在14个缺失类型的情况下，两者都阻止了9个，而PRGuard识别出9个目标，而CodeRabbit为3个。当所需证据位于所触及的文件中时，CodeRabbit识别出16/24个目标，而当验证需要证据在它们之外时，为0/7。最后，PRGuard在五个项目中发现了十二个以前未公开的、基于概念验证的漏洞。PRGuard/DeepSeek和CodeRabbit都阻止了10/12个发现PR，但分别产生了10/12和4/12个可归因的阻止。因此，仅判决的评估可能会大大高估自动化审查的安全价值。