Attacks

general · First seen 2026-05-22 · Last seen 2026-11-20 · 81 mentions

Overview

Attacks(攻击)在 AI 语境中主要指针对机器学习模型的安全性攻击,包括对抗样本攻击、数据投毒、成员推断以及模型蒸馏窃取等。随着大语言模型和图神经网络被广泛部署,这类攻击的研究重点正从传统图像分类器转向 LLM 智能体、知识库问答和表格数据等新场景,防御方与攻击方的博弈也在持续升级。

AI Attacks 的近期研究进展

  • GNN-based KGQA Query-Side Attacks:该工作将攻击面延伸到基于图神经网络的知识库问答系统,探讨了在查询侧对 KGQA 系统进行操纵的可能性,说明 RAG 类系统的输入端正成为新的脆弱点。
  • The One-Pixel of Reasoning: One Truthful Relation Is Enough to Mislead LLM Agents:研究表明,只需注入一条真实的知识关系,就足以误导 LLM 智能体的推理链路。这类“低污染、高杀伤”的攻击对智能体应用的威胁值得警惕。
  • How Much Do ℓ₁ Attacks Need Concentrated Perturbations? 与 Pareto-Improving Adversarial Attacks with Primal-Dual Regularization:两篇论文从优化理论角度改进对抗攻击,前者分析 ℓ₁ 范数扰动对集中性的要求,后者用原始-对偶正则化在攻击效果的多目标上取得帕累托改进。
  • SoK: Rethinking Membership Inference in Tabular Machine Learning:这是一篇系统化知识论文,重新审视了针对表格机器学习的成员推断攻击,对隐私泄露风险的评估方法提出修正。
  • 模型窃取与防御:Anthropic 的反蒸馏措施

    除学术研究外,产业层面的攻防也在加剧。Anthropic 发布了针对蒸馏攻击的新一代防御措施:据 相关分析,攻击者从 Claude 平台窃取推理 token 的量下降了 90%–99%,智谱 GLM-5.3 的模型训练被重点点名。另据 报道,Anthropic 在博客《加强对蒸馏攻击的防御》中明确了违规处置机制,被抓到违规使用的一方还可能面临经济追责,标志着模型厂商开始把“防止能力被蒸馏”当作核心安全工作。

    当前焦点与观察点

    目前围绕 AI attacks 的讨论集中在三个方向:一是攻击面随 LLM 智能体、KGQA 等复杂系统扩张,少量真实但恶意构造的知识即可操纵推理;二是隐私类攻击(成员推断、训练数据抽取)的方法论正在被系统性重估;三是蒸馏窃取类攻击促使头部厂商从被动检测转向主动防御与追责。值得观察的是,防御措施(如输出分布限制、token 监控)是否会显著影响正常 API 用户体验,以及学术界提出的攻击方法与产业防御实践之间的差距将如何演变。

    Coverage

    10 on file