精选理由
想知道LLM有多容易受骗吗？这篇论文用实验告诉你，LLM检测漏洞时跟人一样有认知偏差，改个上下文就能让它放跑97%的漏洞。
研究者首次系统探索认知启发对LLM代码漏洞检测的影响。他们构建控制框架，通过改变上下文触发光环、框架、锚定三种启发。在8个LLM和3种编程语言上的评估显示，所有模型均受影响：框架效应平均易感性最高（33.2%），锚定效应23.5%，光环效应18.4%。代码级分析表明，需语义推理的漏洞比模式匹配的更易受影响。此外，黑盒攻击可抑制高达97%之前检测到的漏洞。
AI 翻译 · 中文
研究者首次系统探索认知启发对LLM代码漏洞检测的影响。他们构建控制框架，通过改变上下文触发光环、框架、锚定三种启发。在8个LLM和3种编程语言上的评估显示，所有模型均受影响：框架效应平均易感性最高（33.2%），锚定效应23.5%，光环效应18.4%。代码级分析表明，需语义推理的漏洞比模式匹配的更易受影响。此外，黑盒攻击可抑制高达97%之前检测到的漏洞。
Researchers and practitioners increasingly apply Large Language Models (LLMs) for automated vulnerability detection. Recent work has shown that LLMs are susceptible to the same cognitive heuristics that bias human judgme…