OpenAI 加强 GPT-6.2 思考链防护,提取成功率降至 0.2%
11 月 20 日 OpenAI 发布公告,介绍针对「对抗性蒸馏」的防御措施,称已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(CoT)的保护。内部自适应黑盒红队测试显示,针对此前请求推理内容的提取成功率从 GPT-6 Astra 的 54.0% 降至 GPT-6.2 Astra 的 0.2%,当前请求的提取成功率从 22.9% 降至 0.9%,结果汇总了 6 个攻击模型的数据。 技术上,OpenAI 采用多层措施:通过对抗性训练让模型识别并拒绝推理链提取请求,用输入和输出分类器检测攻击及推理内容泄露,并通过 API 限制不同会话、模型和组织之间的推理内容复用。GPT-6.2 Astra 和 GPT-6.2 Sol 会将受保护推理内容与生成它的对话历史关联,此前消息一旦被修改,API 会丢弃基于该消息的后续推理内容;旧版模型也无法读取这两个新模型的受保护推理内容。 执法方面,OpenAI 称今年以来每周都对涉及未经授权蒸馏的账号采取措施,规模从数千个到数万个不等,今年夏季以来明显增加。公司内部测试还发现,用完整推理轨迹做监督微调的学生模型,比仅用最终回答和推理摘要训练的模型在网络安全能力上有更强的迁移效果。
Current read
OpenAI 把 CoT 提取成功率从 54% 压到 0.2%,还每周封数千到数万个蒸馏账号。做模型安全、API 集成或者关心蒸馏争议的人,可以看看这套对抗训练加分类器加 API 限制的组合拳具体怎么搭。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.