精选理由
不用微调,不拖慢速度,只加几行提示和词向量偏置,代码安全就上去了,效果和重训练一样好。
SPARK是一种无需重训练的推理时安全机制,通过两步骤激活预训练模型中已有的安全知识。第一步针对编码任务检索少量CWE条目并附加结构化提示,第二步在每个解码步骤添加预计算token偏置(来自安全方向向量投影)。在9个开源模型(C++/Java/Python)上评估,SPARK匹配或优于7种基线方法,同时保持HumanEval代码能力。在Claude、DeepSeek、GPT等7个黑盒模型上进一步验证了激活瓶颈的存在和SPARK的改进效果。
AI 翻译 · 中文
SPARK是一种无需重训练的推理时安全机制,通过两步骤激活预训练模型中已有的安全知识。第一步针对编码任务检索少量CWE条目并附加结构化提示,第二步在每个解码步骤添加预计算token偏置(来自安全方向向量投影)。在9个开源模型(C++/Java/Python)上评估,SPARK匹配或优于7种基线方法,同时保持HumanEval代码能力。在Claude、DeepSeek、GPT等7个黑盒模型上进一步验证了激活瓶颈的存在和SPARK的改进效果。
Large language models routinely generate code with exploitable security flaws. Prior literature attributes this limitation to a lack of security expertise, steering current defense mechanisms toward heavy fine-tuning or …