对抗扰动(adversarial perturbations)指在模型输入上施加人眼几乎不可察觉、却能让模型输出错误结果的微小修改,是评估深度学习安全性的核心概念。它广泛存在于图像分类、强化学习和视觉语言模型中,近两年研究重心正从单纯的攻击构造转向鲁棒性认证与防御机制。
对抗扰动的近期研究进展
当前焦点与观察点
对抗扰动领域目前的争议点在于防御的可信度:经验性防御容易被新攻击绕过,而认证方法虽能给出保证,却常以牺牲模型精度或只覆盖极小扰动半径为代价。强化学习方向的这两项工作代表了趋势——把风险敏感目标与形式化认证结合,使鲁棒性可量化、可验证。
另一个值得观察的方向是攻击面的扩展。从视觉分类到 KGQA,再到视觉语言模型的提示输入,对抗扰动的载体已从连续像素延伸到离散文本与图结构,这对防御提出更高要求。测试时自适应方法的兴起说明,社区正寻求不依赖昂贵重训、且对未知扰动泛化的轻量防御路径。未来一段时间,认证鲁棒性与多模态攻击面仍将是对抗扰动研究的主要观察点。