Defending(防御)在 AI 领域通常指针对模型安全风险的防护研究与实践,涵盖后门攻击防御、数据投毒防御、智能体系统安全加固等方向。随着大模型被广泛部署到代码审计、社交平台治理等真实场景,围绕如何构建有效防御体系的研究和讨论正在快速升温,同时也伴随着攻击手段同步演化的持续博弈。
Defending 相关的近期进展
当前焦点与观察点
当前 defending 研究的焦点正从单一模型的鲁棒性转向系统级安全。一方面,智能体(Agent)逐渐获得代码执行、信息检索等权限,其审计与防御能力需要可量化的基准,SecPRBench 这类工作正是回应这一需求。另一方面,数据层面的隐性威胁——如伪装成良性样本的有害监督、联邦学习中的后门注入——仍是防御研究的难点,因为攻击者往往比防御者更早适应新架构。
此外,安全事件推动了行业协作。OpenAI 与 Hugging Face 的数据泄露事件发生 5 周后仍被业界持续讨论,Nvidia 参与的开放 AI 行业组织在成立一周内即推进了相关工作,显示供应链安全与行业联防正成为 defending 议题的重要组成部分。值得观察的问题包括:防御评测基准能否跟上攻击演化速度、行业共享威胁情报的机制是否可持续,以及安全研究中的攻防信息披露如何把握边界。