AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：护栏分类器×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月12日
19:11
19:11arXiv cs.LG@Nikita Kezins, Urbas Ekka, Pascal Berrang, Luca Arnaboldi
红队测试在实际中表现良好的护栏分类器无法提供形式化保证，因为“有害行为”缺乏离散输入空间中的自然规范。研究者提出将验证从离散输入空间转移到分类器的预激活空间，通过定义包含已知有害提示表示的有害区域，并利用sigmoid分类头的单调性，能在O(d)时间内给出封闭形式的可靠性证明。该框架应用于三种毒性护栏分类器，所有超矩形配置均返回SAT（即存在安全漏洞），而概率性高斯混合模型证书则揭示了模型表示危害的结构稳定性差异：GPT-2和Llama-3.1-8B保持90%和80%的覆盖率，但BERT的安全保证在最优阈值下覆盖率骤降至55%。这些方法提供了超越传统红队测试的护栏分类器有效性新见解。
论文AI安全形式化验证护栏分类器红队测试LLM
推荐理由：该研究首次为LLM护栏分类器提供了形式化验证方法，揭示了高经验指标下隐藏的安全漏洞，对AI安全领域具有重要指导意义。
原文