人类研究评估LLM辅助漏洞修补的效果

Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

精选理由

这篇论文设计了一个人体实验,对比开发者用LLM辅助和手动修补漏洞的速度与安全性,还用了隐藏测试验真假补丁。

AI 摘要

一项针对LLM辅助漏洞修补的人体实验研究提出,LLM工具在检测、定位和修复漏洞方面有潜力,但可能引入幻觉或不安全代码。研究计划使用平衡交叉设计,开发了集成隐藏Ghost测试的WebApp,用于验证补丁在功能测试和安全测试下的完整性。试点实验已进行,为后续大规模实验提供初步见解。

AI 翻译 · 中文

一项针对LLM辅助漏洞修补的人体实验研究提出,LLM工具在检测、定位和修复漏洞方面有潜力,但可能引入幻觉或不安全代码。研究计划使用平衡交叉设计,开发了集成隐藏Ghost测试的WebApp,用于验证补丁在功能测试和安全测试下的完整性。试点实验已进行,为后续大规模实验提供初步见解。

arXiv cs.AISoftware vulnerability remediation is a cognitively demanding task that requires specialized security expertise often lacking in general developers. In the meantime, Large Language Models (LLMs) assisted tools show poten