White Circle 是一家专注于 AI 安全的团队,核心业务是通过开源工具对主流图像生成模型进行红队测试与安全评估,同时也涉足模型后训练效率框架的开发。近几个月,White Circle 因连续开源两项引起广泛讨论的工具而进入公众视野,其工作直接触及 AI 生成内容安全防护的有效性问题。
White Circle 的近期进展
White Circle 于近期开源了 RISE,这是一套自动化测试图像生成模型安全限制的工具。据 rohanpaul_ai 的介绍,RISE 能够自动探测图像生成模型的安全边界,测试其内容过滤机制是否可靠(White Circle 开源 RISE:自动测试图像生成模型的安全限制)。
更受关注的是 RISE 的实测效果。有报道称,该方法能够绕过 OpenAI 与 Google 等主流厂商图像模型的安全过滤(RISE 攻击方法可绕过 OpenAI 与 Google 图像模型安全过滤)。elvis 也转发了这一动态,指出 RISE 是可绕过主流模型安全防护的红队工具(White Circle 开源图像模型红队工具 RISE,可绕过主流模型安全防护)。
在安全之外,White Circle 还发布了 Halo 框架。据 Hugging Face CEO Clement Delangue 分享的数据,Halo 在开源模型后训练中的吞吐量达到 TRL 的 2.8 倍,为社区提供了效率层面的新选项(White Circle 推出 Halo 框架:开源模型后训练吞吐量达 TRL 的 2.8 倍)。
当前焦点与观察点
White Circle 引发的核心争议在于开源攻击工具的双刃剑属性:支持者认为公开绕过方法能倒逼厂商修补漏洞,质疑者则担心降低滥用门槛。围绕 RISE 的讨论目前集中在三点:一是头部厂商的图像安全过滤是否真的如此脆弱;二是自动化红队工具应否以完全开源形式发布;三是这类测试结果能否转化为可验证的安全改进。
除安全测试外,White Circle 在后训练效率方向的动作同样值得留意。Halo 框架相对 TRL 的 2.8 倍吞吐优势若经第三方复现验证,可能影响开源社区的后训练工具选型。后续观察点包括主流图像厂商对 RISE 类攻击的响应速度,以及 White Circle 是否会将其红队方法扩展到文本与视频生成模型。