SPARK:面向LLM安全代码生成的知识引导与激活方法

SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation

精选理由

不用微调,不拖慢速度,只加几行提示和词向量偏置,代码安全就上去了,效果和重训练一样好。

AI 摘要

SPARK是一种无需重训练的推理时安全机制,通过两步骤激活预训练模型中已有的安全知识。第一步针对编码任务检索少量CWE条目并附加结构化提示,第二步在每个解码步骤添加预计算token偏置(来自安全方向向量投影)。在9个开源模型(C++/Java/Python)上评估,SPARK匹配或优于7种基线方法,同时保持HumanEval代码能力。在Claude、DeepSeek、GPT等7个黑盒模型上进一步验证了激活瓶颈的存在和SPARK的改进效果。

AI 翻译 · 中文

SPARK是一种无需重训练的推理时安全机制,通过两步骤激活预训练模型中已有的安全知识。第一步针对编码任务检索少量CWE条目并附加结构化提示,第二步在每个解码步骤添加预计算token偏置(来自安全方向向量投影)。在9个开源模型(C++/Java/Python)上评估,SPARK匹配或优于7种基线方法,同时保持HumanEval代码能力。在Claude、DeepSeek、GPT等7个黑盒模型上进一步验证了激活瓶颈的存在和SPARK的改进效果。

arXiv: DeepSeekLarge language models routinely generate code with exploitable security flaws. Prior literature attributes this limitation to a lack of security expertise, steering current defense mechanisms toward heavy fine-tuning or