投毒攻击相关 AI 资讯 · AI 热点

7月8日

11:51

11:51

官方账号arXiv cs.LG@Marwan Lazrag, Badis Hammi, Lorena Gonzalez-Manzano, Joaquin Garcia-Alfaro

该论文研究了投毒攻击对增强3D点云公共数据集在网联自动驾驶汽车中的操作影响。实验使用GAN进行数据增强，发现增强过程无法完全消除投毒样本，后门攻击仍能绕过防护。投毒数据会传播到增强后的数据集，导致点云分类器（例如PointNet）出现误分类。所有工具、数据集和分类器均已公开以支持复现。

论文 3D Point Cloud GAN 投毒攻击自动驾驶数据增强

推荐理由：这篇论文用具体实验证明，GAN数据增强挡不住针对自动驾驶3D点云的投毒攻击，后门照样能影响分类器，值得搞AI安全的人看看。

6月16日

10:04

10:04

官方一手arXiv: Anthropic@David Huang, Jaewon Chang, Avidan Shah, Prateek Mittal, Chawin Sitawarin

这篇论文揭示了对快速响应（RR）框架的投毒攻击方法，RR框架部署于生产系统（如Anthropic的ASL-3安全防护），用于持续改进越狱检测分类器。攻击者通过在越狱样本中注入提示词，可以渗透训练管道，实现两种攻击目标：第一种是针对性投毒，在无害样本上制造假阳性（分类为越狱），特定特征（如格式、主题、关键词）可触发。第二种是基于概念的后门攻击，在存在后门触发器的越狱输入上诱导假阴性，甚至能泛化到防御方已训练过的攻击策略。论文提出的Omission Attack利用了一个新现象：训练时缺少特定概念的unsafe样本，会导致分类器将该概念的出现与safe标签错误关联。在仅1%的投毒率下，两种攻击分别实现高达100%的假阳性率和96%的假阴性率。

论文 Rapid Response Anthropic 投毒攻击后门攻击 ASL-3

推荐理由：这篇论文讲了对Anthropic等用的越狱检测防御框架的投毒攻击方法，投毒率才1%就能让检测器几乎失效，搞安全的一定要看。