Rise(RISE)是一套由安全研究团队 White Circle 开源的红队测试工具,用于自动探测图像生成模型安全过滤机制的薄弱环节。它近期引发关注的原因在于:测试结果显示主流商业图像模型的安全防护均可被其绕过,这使 Rise 成为讨论生成式 AI 安全边界时的一个代表性案例。
Rise 的近期进展
当前焦点与观察点
围绕 Rise 的讨论集中在两个方向。其一是双刃剑问题:开源攻击工具能帮助模型方发现并修复漏洞,但也降低了恶意利用的门槛,如何界定此类工具的发布边界仍是社区争议点。其二是防护思路的更新:既然静态过滤规则可被自动化方法系统性绕过,厂商可能需要转向更动态、多层的审核机制。
需要区分的是,RISE 这一缩写在不同语境下含义不同。学术圈另有同名的递归自我改进方法(Recursive Improve through Self-Extrapolation 策略蒸馏),与本文所述的红队工具无关;Rock Health 的数字健康报告标题中的 "Rise" 也只是普通词汇。检索和引用时建议结合上下文确认指向。
后续值得观察的点包括:OpenAI、Google 等厂商是否会针对 Rise 类攻击更新防护策略,以及开源安全测试工具与模型服务商之间会形成怎样的协同或博弈关系。