AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：Rapid Response×
6月16日
20:46
10:04
10:04arXiv: Anthropic@David Huang, Jaewon Chang, Avidan Shah, Prateek Mittal, Chawin Sitawarin
这篇论文揭示了对快速响应（RR）框架的投毒攻击方法，RR框架部署于生产系统（如Anthropic的ASL-3安全防护），用于持续改进越狱检测分类器。攻击者通过在越狱样本中注入提示词，可以渗透训练管道，实现两种攻击目标：第一种是针对性投毒，在无害样本上制造假阳性（分类为越狱），特定特征（如格式、主题、关键词）可触发。第二种是基于概念的后门攻击，在存在后门触发器的越狱输入上诱导假阴性，甚至能泛化到防御方已训练过的攻击策略。论文提出的Omission Attack利用了一个新现象：训练时缺少特定概念的unsafe样本，会导致分类器将该概念的出现与safe标签错误关联。在仅1%的投毒率下，两种攻击分别实现高达100%的假阳性率和96%的假阴性率。
论文Rapid ResponseAnthropic投毒攻击后门攻击ASL-3
推荐理由：这篇论文讲了对Anthropic等用的越狱检测防御框架的投毒攻击方法，投毒率才1%就能让检测器几乎失效，搞安全的一定要看。
原文
6月12日
12:57
6月11日
15:28
15:23
15:07