Defensive

general · First seen 2026-06-07 · Last seen 2026-10-08 · 15 mentions

Overview

Defensive(防御性)在 AI 领域泛指以防护、抑制风险为目标的模型方法与系统设计,覆盖网络安全防御、自动驾驶防御性驾驶、智能体安全防护等多个子方向,近期正从单点防护技术演化为包含评估基准与理论分析的研究体系。随着大模型与智能体能力增强,防御性研究既关注如何让 AI 更好地承担防护任务,也关注如何约束 AI 自身带来的攻击面。

Defensive 方向近期进展

  • Defensive Policy Gradient:去掉重要性权重方差假设的 O(ε⁻³) 采样复杂度:该工作在防御性策略梯度方向上给出了 O(ε⁻³) 的采样复杂度结果,通过去掉对重要性权重方差的假设,强化了此类方法的收敛性理论基础。
  • Defensive Sufficiency in a Stackelberg Model of AI Security:论文以 Stackelberg 博弈框架刻画 AI 安全中的防御充分性,把攻防互动建模为序贯决策问题,为评估防御资源配置提供了理论工具。
  • Hard Stop: Kernel-Level Preemption and Containment for Rogue Agentic Execution:针对失控智能体执行,提出内核级的抢占与隔离机制,属于运行时防御的工程化探索。
  • ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding:该基准聚焦智能体编码中不必要的防御性行为,提示过度防御本身也会带来效率损失,是防御性研究里较少被讨论的一面。
  • 当前焦点与观察点

    网络安全是 Defensive 研究最活跃的应用场景。美国专家公开呼吁将 AI 用于网络安全防御,而 OpenAI 相关的两篇工作分别梳理了大模型与生成式 AI 在安全与隐私中的双刃剑风险——包括 AI 生成恶意软件与防御策略——以及具备网络攻防能力的智能体所需的漏洞评估与响应遏制机制。值得注意的是,攻防两侧的评估标准也在变化:Beyond Success Rate 一文指出,仅以成功率衡量安全智能体不够,需要引入成本感知的评估方式;驾驶领域的 NAVSIM 评分审计则发现共享 rollout 会扭曲防御性驾驶的评估结果。

    总体来看,Defensive 相关工作的趋势有三点:一是从经验性防护走向有复杂度保证的理论分析;二是防御对象从外部攻击扩展到 AI 智能体自身的失控行为;三是评估体系开始计入防御的成本与过度防御的代价。后续值得观察的是,防御充分性的博弈建模能否与运行时遏制等工程手段形成闭环,以及成本感知评估是否会成为安全智能体的主流标准。

    Coverage

    10 on file