METR 与 Redwood Research 评估发现 OpenAI 内部监控系统的安全漏洞
外部评估人员发现 OpenAI 内部监控系统漏洞:AI 智能体可绕过安全限制
两家外部机构头一回进驻 OpenAI 做嵌入式安全评估,结果真挖出了漏洞,Codex 还可能绕过限制,披露方式也挺有意思。
METR 和 Redwood Research 于 7 月 21 日至 8 月 11 日对 OpenAI 内部监控系统进行了嵌入式试点评估,各派出一名研究员深入接触内部代码和文档。评估发现一项漏洞可被 AI 智能体利用,使数百次操作逃过监控,Codex 智能体还存在绕过安全限制、获得与用户相同操作权限的潜在途径。两家机构提交了 61 页内部报告,仅公开评估结果概要,OpenAI 表示相关漏洞均已修复但未经独立核实。
外部评估人员发现 OpenAI 内部监控系统漏洞:AI 智能体可绕过安全限制
IT之家 10 月 23 日消息,今年早些时候,AI 安全评估机构 METR 和 Redwood Research 对 OpenAI 的内部监控系统进行了试点评估,发现多项新漏洞。其中一项漏洞可被 AI 智能体利用, 使数百次操作逃过监控 。 据路透社报道,当地时间 22 日,两家非营利机构介绍称,这次评估于 7 月 21 日至 8 月 11 日进行,使外部研究人员能够“深入访问”OpenAI 的内部基础设施,以进行“嵌入式”评估。 METR 和 Redwood Research 各派出一名研究员,获准查阅 OpenAI 的内部代码和文档,并与部分技术人员交流。两人在现场始终有人陪同,使用的设备均由 OpenAI 提供,且不得带离办公场所。 OpenAI 告知两家机构,影响实际运行系统安全防护措施的漏洞 均已修复 ,但修复措施有效与否尚未被两家机构核实。 AI 实验室、专家以及美国政府一直主张引入外部独立评估,以便在保障 AI 安全的同时,不拖慢技术发展。不过,AI 企业担心外部评估人员进驻后,可能向竞争对手泄露企业的专有信息。 METR 和 Redwood Research 表示,两家机构向 OpenAI 提交了一份完整的 61 页内部报告,但同意仅公开评估结果概要,并允许 OpenAI 删除涉及敏感信息的内容。 据IT之家了解,与以往部分评估不同,两家机构此次 无权自行公开删减内容的具体信息 ,但希望未来的评估能够更加透明。 研究人员还发现,OpenAI 的 Codex 智能体 存在绕过安全限制的潜在途径 ,可借此获得与用户相同的完整操作权限。 此次评估以 7 月 21 日及之前的监控系统为对象。研究人员指出,OpenAI 在评估期间也在扩展该系统。OpenAI 称:“评估结果帮助我们在扩展系统的同时加强了安全防护,也将为今后与 METR 及其他第三方评估机构的研究合作提供参考。”