Chinese contentMobileProbe：基于轨迹感知注入的移动智能体安全评估框架
做手机 GUI 智能体或相关安全工作的话，这篇值得看：它不靠人工写死攻击载荷，而是顺着智能体实际执行轨迹自动找注入点，83 个实例覆盖 12 个应用，攻击成功率比人工和零样本 LLM 基线都高，可以直接当部署前审计工具用。
#red teaming
37 stories · 5 in 7 days · 12 in 30 days
Stories, products and papers tagged "red teaming", newest first.
Nov 13
Chinese contentOpenAI 发布两款网络安全产品 Daybreak Defense Factory 和 Daybreak Red Team
OpenAI 把自己挖自家漏洞的实战经验做成了两款安全工具，一个帮你模拟红队攻击，一个帮你批量搭防御。搞安全的团队可以看，估计会给网络安全行业带来一些新玩法。
Nov 12
Chinese contentMicrosoft Research 播客解析红队、蓝队与紫队网络安全实践
Microsoft Research 的人聊 AI 时代怎么做安全测试，把红队、蓝队、紫队各自干什么讲得很清楚。做安全或想给自家系统做攻防演练的工程师可以听听，比单纯讲攻防对抗的视角更完整。
Perplexity Red-Teams SPACE VM Sandbox with 12 Models
The non-obvious insight is that the CTF format itself may bias agent security evaluations, meaning current red-team benchmarks could be testing the wrong thing. Teams building or deploying computer-use agents, sandbox infrastructure, or agentic safety pipelines should read the methodology to audit their own evaluation setups. It also suggests enterprises cannot rely on a model's security-specialization claims as evidence of sandbox resistance.
Nov 7
Chinese contentDaybreak 面向安全团队开放：GPT-6 Sol/Luna 找漏洞，GPT-5.6 Cyber 测试攻击
OpenAI 给搞安全的朋友出活儿了：GPT-6 找 bug，GPT-5.6 Cyber 模拟攻击，红队还能申请 GPT-6 Cyber，得报名。
Nov 1
Chinese content安全工程师谈 AI 威胁：SOC 2 认证挡不住 AI 攻击
安全圈吵起来了：有人说 SOC 2 就够防 AI 攻击，Gergely Orosz 拿 Binance 被偷 60 亿美元的例子反驳，观点很直接。
Oct 27
Chinese content针对全生命周期用户的 AI 安全评估框架：六个年龄段的风险矩阵
这篇论文把儿童语音助手、青少年AI陪伴、老年人护理拒批这些案例串成一个问题：我们默认用户都是成年人。安全从业者可以看看那个风险矩阵和三层评估框架。
Oct 24
Chinese contentOpenAI 称前沿模型训练已于 10 月 1 日恢复
OpenAI 亲口确认训练 10 月 1 日就恢复了，还提到会持续砸算力做红队测试，甚至暗示 token 可能要涨价，信息量不小。
Chinese contentOpenAI 用多智能体红队测试沙箱，Agent 多次逃逸成功
OpenAI 放开一队 Agent 攻击自家沙箱，结果它们用 CPU 缓存时间差偷偷传密钥，跟当年 Spectre 攻击一个套路，读着挺后背发凉的。
Oct 15
White Circle open-sources RISE red-teaming tool for image models
The shift from red-teaming as an internal lab practice to a reproducible open-source workflow lowers the barrier for any team to stress-test image model safeguards themselves. Builders and safety engineers can plug in their own models and run the same attacks that broke frontier safeguards. It also illustrates a broader trend of safety tooling being engineered with commodity models rather than bespoke training runs.
White Circle releases RISE for testing image generator safety
The credit-assignment design matters: by rewarding strategies across many generated prompts, RISE keeps finding attacks even against heavily filtered models, a common failure point for red-teaming tools. Safety teams running image generation services can deploy it directly against their own models since both code and attacker models are public. It contrasts with closed audit tools by making the full attack search reproducible.
Oct 12
Chinese contentX-AgentRed 框架通过工具依赖图自动发现个人智能体的有害调用路径
个人智能体连一堆服务，良性请求也可能串出有害结果。这篇提出用工具依赖图自动挖有害路径，比 STAC 多 77%，还覆盖近 3 倍工具。
Oct 9
Oct 8
Chinese contentarXiv 论文用 Stackelberg 博弈分析 AI 安全防御的充分条件
一篇把 AI 安全防御写成博弈论的论文，算出了什么时候修 bug、做红队才划算，还证明修复快不代表被攻陷概率低。
Oct 1
LangSmith Engine v2 adds red teaming
This proactive testing approach could significantly reduce production failures in AI applications by identifying vulnerabilities earlier in development. Developers building complex AI agents can now implement continuous red teaming within their workflow, potentially saving hours of debugging time and improving application reliability.
Sep 28
Chinese contentAgentXploit：面向 AI 智能体的仓库到运行时自动化红队测试框架
一篇教你怎么在部署前自动找智能体漏洞的论文，72 个真实漏洞复现，攻击成功率比 Codex 高出不少，做智能体安全的必看。
Sep 11
Sep 6
Aug 19
Aug 13
Jul 29
Jul 17
Chinese contentOpenAI 详解 GPT-Red：自动红队模型以84%胜率击败人类
OpenAI 搞了个 GPT-Red 自动红队模型，提示注入赢人类 84% 对 13%，还发现了 Fake Chain-of-Thought 攻击。
Jul 16
Jul 14
Chinese contentAHA：自动化红队测试发现Claude Code和Codex的智能体漏洞
想了解如何自动化挖Claude Code和Codex的漏洞？这篇论文提出了AHA方法，比现有方法强14%，还能跨场景复用。搞智能体安全的值得看。
Jul 9
Papers11:20
Chinese content制度性红队测试：部署规则而非仅模型因果影响多智能体AI安全这篇论文拿多个模型种群跑了几万局游戏，发现换一条规则，事故率能差 58 个百分点，而且匿名化也挡不住针对性消除。做多智能体安全的一定要看。
Jul 3
Jun 23
Chinese contentAI红队测试新视角：Zico Kolter与Matt Fredrikson对谈
想听两位大佬聊聊AI安全为什么不一样？Zico Kolter和Matt Fredrikson告诉你红队测试的真正作用。
Jun 9
Chinese contentAdvGRPO：用GRPO实现语言模型自适应红队攻防协同训练
做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案，能同时提升攻击发现能力和防御鲁棒性，建议做红队测试的开发者直接参考。
Jun 7
Chinese contentNVIDIA garak 教程：构建完整防御性 LLM 红队工作流
对于需要系统化测试 LLM 安全性的团队，这个教程提供了从零到自定义探针的完整路径，建议直接跟着步骤搭建自己的红队流程。
Jun 4
Papers11:10
Chinese contentFoeGlass：上下文学习即可红队测试音频深度伪造检测器做音频安全或深度伪造检测的团队，终于有了一个无需手动标注就能自动发现模型盲点的工具——FoeGlass用LLM上下文学习就搞定了，建议直接跑一下开源代码看看效果。
May 29
Chinese content400次实验揭示LLM攻击一致性：Gemini 2.5 Flash-Lite成功率85%领先
这项研究揭示了LLM作为攻击者的行为规律和可靠性差异，做AI安全评估或红队测试的团队值得关注——它告诉你不同模型在真实攻击场景下的稳定性和失败模式，直接指导模型选型和防御策略。
May 12
Papers19:11
Chinese content超越红队测试：LLM护栏分类器的形式化保证该研究首次为LLM护栏分类器提供了形式化验证方法，揭示了高经验指标下隐藏的安全漏洞，对AI安全领域具有重要指导意义。