adversarial-training

general · First seen 2026-05-22 · Last seen 2026-10-22 · 13 mentions

Overview

对抗训练是一种通过在训练过程中向模型输入注入扰动样本,迫使其学习更稳健特征的防御技术,是当前抵御对抗攻击和提示注入的主要手段之一。从早期的图像分类扩展到文本、网络流量乃至智能体安全,对抗训练正从单一模型加固走向多场景、多范式融合。

对抗训练的近期进展

  • 半监督文本分类对抗训练方法:OpenAI 将对抗训练引入半监督文本分类,通过在嵌入空间构造扰动提升模型在少量标注数据下的鲁棒性,是该技术在 NLP 领域的代表性实践。
  • AdvSim2Real:在网络世界模型中训练智能体抵御自适应提示注入:针对网页智能体面临的提示注入攻击,研究者提出在模拟环境中用自适应攻击者生成对抗样本进行训练,再迁移到真实环境,将对抗训练延伸到智能体安全这一新战场。
  • Online AutoML:评估 IoT 网络中对抗训练防御策略的投毒攻击:该工作考察了投毒攻击对物联网场景下对抗训练防御的破坏能力,提示防御本身也可能成为攻击目标。
  • Brenier Meets Adversarial Training:最优传输几何用于稳健学习:借助最优传输理论为对抗训练提供新的几何视角,试图从理论上解释并改进扰动建模方式。
  • 当前焦点与观察点

    目前对抗训练的研究呈现三条主线。其一是可验证鲁棒性:Certified Training for Convolutional Perturbations 和 Improving Certified Robustness via Adversarial Distillation 都在追求能给出数学保证的防御,其中后者尝试用对抗蒸馏降低认证训练的开销。其二是应用场景下沉:从 棉花叶片病害分类框架 CottonLeafVision 这类农业视觉系统,到 面向白盒攻击的多模型混合网络流量防御,对抗训练正成为垂直领域部署的标配考量。其三是安全边界扩展:LCGuard:多智能体系统中 KV 缓存共享的潜在通信防护 显示,随着多智能体架构普及,对抗威胁已从输入层面深入到模型内部通信。

    争议点主要集中在成本与收益的权衡:对抗训练通常带来可观的计算开销,且对未知攻击类型的泛化能力仍存疑,投毒攻击对其防御效果的削弱也值得持续关注。未来一段时间,如何让对抗训练与认证方法、智能体安全框架结合,将是观察其走向的关键。

    Coverage

    10 on file
    adversarial-training · AI 话题观测|AI热报