精选理由
OpenAI搞了个内部红队模型GPT-Red,自动找漏洞,攻击成功率从95%降到10%以下,效果很实在。
OpenAI介绍了内部使用的网络安全红队模型GPT-Red。该模型通过自博弈强化学习训练,可自动化模拟网络攻击。自GPT-5.3后的每个生产模型均使用GPT-Red进行训练。伪造思维链攻击成功率从GPT-5.1的95%降低至最新模型不足10%,最新GPT-5.6 Sol在直接提示符注入攻击中失败率仅0.05%。
原文 · IT之家
打造 AI 网安“红队”:OpenAI 介绍内部漏洞检测模型 GPT-Red
IT之家 7 月 16 日消息,OpenAI 当地时间 15 日介绍了其内部使用的网络安全“红队”模型 GPT-Red。 该模型可自动化地进行各种网络攻击模拟 ,帮助 OpenAI 提升对外模型产品的鲁棒性。 OpenAI 表示,其过去半年 自 GPT-5.3 后的每个生产模型均将“红队”模型用于训练 。伪造思维链型攻击的成功率已从 GPT-5.1 上的 95% 降低至最新模型上的不足 10%;最新的 GPT-5.6 Sol 在 GPT-Red 的直接提示符注入攻击中失败率仅有 0.05%。 GPT-Red 使用自博弈强化学习进行训练 :其本身和一组不同的防御型 LLM 在广泛的红队场景上同时进行训练。GPT-Red 因成功诱发有效失败而获得奖励,而防御型模型则因抵抗攻击并完成其原始任务而获得奖励。随着防御型模型变得越来越强大,GPT-Red 被迫发现更强大、更多样化的攻击。 “红队”模型与产品模型相隔离 。OpenAI 相信其已开启了良性的人工智能网络安全循环,可利用现有模型来增强未来模型的鲁棒性、一致性、可信度。