红队测试相关 AI 资讯

7月9日

11:20

官方账号arXiv cs.AI@Yujiao Chen

论文提出 institutional red-teaming 方法论并实例化为 IABench-CA 基准，覆盖 228 个上下文、5 条规范规则及 7 个模型种群（共 33,924 局游戏）。结果显示：仅改变后果规则即可使平均死亡人数变动 22-58 个百分点。没有任何规则在所有种群中安全：最安全与最不安全的规则及其影响方向均随种群变化，但回归性身份定位从未成为任何上下文中的绝对安全策略，且在 30-87% 的游戏中去除了资源最少的智能体。对最易受剥削种群（gpt-5.1）的消融实验表明，规则文本中命名损失承担者使针对性消除从 22% 升至 81%；重复游戏下匿名化仅延迟定位，智能体从观察结果反推隐藏规则。

论文多智能体 AI安全红队测试部署规则 gpt-5.1

推荐理由：这篇论文拿多个模型种群跑了几万局游戏，发现换一条规则，事故率能差 58 个百分点，而且匿名化也挡不住针对性消除。做多智能体安全的一定要看。

原文

7月3日

11:52

官方账号arXiv cs.AI@Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick

尽管经过对齐训练，LLM在部署时仍会产生不安全输出。研究提出一种简单实时监控器，利用外部模型的验证器信号，通过风险控制（Risk Control）校准阈值来触发报警。在数学推理和红队数据集上，该简单方法与基于序列假设检验（Sequential Hypothesis Testing）的复杂监控器性能相当。实验表明，无需复杂统计模型即可有效监控LLM输出安全性。

论文 LLM 风险控制安全监控红队测试阈值校准

推荐理由：这篇论文直接用阈值加风险控制就能搞定LLM安全监控，效果不输那些复杂方法，适合快速落地。

原文

6月23日

06:42

06:42官方账号Latent Space (swyx)（博客/媒体）

Zico Kolter（OpenAI董事会成员）和Matt Fredrikson（Gray Swan CEO）在Latent Space播客中讨论了AI安全的独特性。他们强调，AI安全不是'网络安全加上AI'，而是需要新的方法论。Gray Swan专注于AI安全测试，红队测试在部署前至关重要。该访谈深入剖析了当前AI安全的挑战与误区。

行业 OpenAI Gray Swan 红队测试 AI安全

推荐理由：想听两位大佬聊聊AI安全为什么不一样？Zico Kolter和Matt Fredrikson告诉你红队测试的真正作用。

原文

6月9日

12:41

官方账号arXiv cs.AI@Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

精选

本文提出AdvGRPO框架，解决了GRPO在攻防协同训练中不稳定的问题。通过密集多通道奖励和分离优势归一化，使攻击者和防御者模型交替更新，从单轮攻击逐步过渡到多轮闭环攻击。实验表明，该方法能生成高效且可迁移的攻击，协同训练的防御者在安全基准上优于基线。这项工作为语言模型的安全对齐提供了新的自适应红队方法。

论文红队测试 GRPO 攻防协同安全对齐强化学习

推荐理由：做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案，能同时提升攻击发现能力和防御鲁棒性，建议做红队测试的开发者直接参考。

原文

6月7日

13:42

官方一手marktechpost@Sana Hassan

精选

本文是一篇关于 NVIDIA garak 框架的详细教程，指导用户如何构建防御性的大语言模型红队测试工作流。教程涵盖了环境搭建、插件发现、干运行、在 Hugging Face 生成器上进行真实模型扫描以及多探针评估。用户可以通过分析安全分数和攻击成功率来检查标记输出，并扩展 garak 以添加自定义探针和检测器。最后，教程演示了如何以 AVID 格式导出结果，实现结构化漏洞管理。

AI产品 NVIDIA garak LLM 安全红队测试自定义探针漏洞管理

推荐理由：对于需要系统化测试 LLM 安全性的团队，这个教程提供了从零到自定义探针的完整路径，建议直接跟着步骤搭建自己的红队流程。

原文

6月4日

11:10

官方账号arXiv cs.LG@Sepehr Dehdashtian, Jacob H Seidman, Vishnu N Boddeti, Gaurav Bharaj

音频深度伪造检测（ADD）模型对防御恶意TTS至关重要，但现有数据集构建面临手动收集和盲点发现低效的挑战。FoeGlass是首个黑盒自动化红队测试方法，利用LLM的上下文学习能力探索TTS输入空间，仅需黑盒访问即可生成欺骗ADD的音频样本。通过基于多样性度量的上下文设计，FoeGlass缓解了模式崩溃问题，在多个开源ADD和TTS模型上使假阴性率比基线提升高达94%。生成的攻击可跨不同ADD迁移，且用FoeGlass样本微调ADD模型可提升鲁棒性达41%。

论文音频深度伪造红队测试上下文学习 LLM 安全/对抗

推荐理由：做音频安全或深度伪造检测的团队，终于有了一个无需手动标注就能自动发现模型盲点的工具——FoeGlass用LLM上下文学习就搞定了，建议直接跑一下开源代码看看效果。

原文

5月29日

13:00

官方一手arXiv: Anthropic@Galip Tolga Erdem

精选72°

这是首个大规模实证研究，测量了LLM在重复渗透测试中的行为一致性。研究对4个模型（Claude Sonnet 4、Gemini 2.5 Flash-Lite、GPT-4o-mini、qwen2.5-coder:14b）各进行100次攻击，目标为固定蜜罐（含OWASP Juice Shop等脆弱服务）。结果显示，Gemini 2.5 Flash-Lite成功率最高（85%），Claude因API故障中断39次但仍达61%，qwen仅25%且主要因过早完成失败。模型失败模式各异：Claude受API截断影响，qwen过早终止，GPT-4o-mini耗尽迭代预算。跨模型成功率差异显著（p<0.001），且首次利用时间集中在15-30秒内。

论文 LLM安全渗透测试攻击一致性模型对比红队测试

推荐理由：这项研究揭示了LLM作为攻击者的行为规律和可靠性差异，做AI安全评估或红队测试的团队值得关注——它告诉你不同模型在真实攻击场景下的稳定性和失败模式，直接指导模型选型和防御策略。

原文

5月12日

19:11

官方账号arXiv cs.LG@Nikita Kezins, Urbas Ekka, Pascal Berrang, Luca Arnaboldi

红队测试在实际中表现良好的护栏分类器无法提供形式化保证，因为“有害行为”缺乏离散输入空间中的自然规范。研究者提出将验证从离散输入空间转移到分类器的预激活空间，通过定义包含已知有害提示表示的有害区域，并利用sigmoid分类头的单调性，能在O(d)时间内给出封闭形式的可靠性证明。该框架应用于三种毒性护栏分类器，所有超矩形配置均返回SAT（即存在安全漏洞），而概率性高斯混合模型证书则揭示了模型表示危害的结构稳定性差异：GPT-2和Llama-3.1-8B保持90%和80%的覆盖率，但BERT的安全保证在最优阈值下覆盖率骤降至55%。这些方法提供了超越传统红队测试的护栏分类器有效性新见解。

论文 AI安全形式化验证护栏分类器红队测试 LLM

推荐理由：该研究首次为LLM护栏分类器提供了形式化验证方法，揭示了高经验指标下隐藏的安全漏洞，对AI安全领域具有重要指导意义。

原文