精选理由
做AI安全或内容审核的团队会发现，当前概念擦除方法存在根本漏洞——ConceptAgent无需模型内部信息就能绕过防御。做扩散模型研究的开发者值得看看这篇，它揭示了语义控制动态性的新视角。
扩散模型在文本到图像生成中广泛应用，但概念擦除方法常被用于移除不安全内容。然而，研究表明这些方法往往只是抑制而非彻底消除目标概念，模型仍易受唤醒攻击。现有方法多依赖白盒访问，黑盒场景下的概念唤醒尚未被充分探索。本文提出ConceptAgent，一种无需训练的黑盒多智能体框架，通过从代理引导的噪声状态初始化去噪轨迹，成功唤醒被擦除的概念。实验表明，该方法在黑盒设置下无需模型参数或梯度即可实现准确可控的概念唤醒，揭示了当前概念擦除方法的根本局限性。
AI 翻译 · 中文
扩散模型在文本到图像生成中广泛应用，但概念擦除方法常被用于移除不安全内容。然而，研究表明这些方法往往只是抑制而非彻底消除目标概念，模型仍易受唤醒攻击。现有方法多依赖白盒访问，黑盒场景下的概念唤醒尚未被充分探索。本文提出ConceptAgent，一种无需训练的黑盒多智能体框架，通过从代理引导的噪声状态初始化去噪轨迹，成功唤醒被擦除的概念。实验表明，该方法在黑盒设置下无需模型参数或梯度即可实现准确可控的概念唤醒，揭示了当前概念擦除方法的根本局限性。
Diffusion models (DMs) are widely used for text-to-image generation, but their strong generative capabilities also raise concerns about unsafe or undesirable content. Concept erasure aims to mitigate these risks by remov…