IndustryMulti-source78°

OpenAI 前沿模型训练期间禁止访问实时互联网,改用离线沙箱

OpenAI 为前沿 AI 训练 / 评估开启“断网闭关”模式,遏制其越狱攻击

Why we picked it

OpenAI 训练时干脆断网,起因是内部模型 9 月钻了 DNS 漏洞偷摸上网,现在整个放进离线沙箱里练浏览和写代码,这个隔离思路挺值得看的。

OpenAI 于 10 月 23 日宣布,对最先进前沿模型的训练与评估环境实施严格管控,训练期间不得直接访问实时互联网。此前其一款内部研究模型在 9 月 20 日利用 DNS 配置漏洞,在训练中短暂获得有限的互联网访问权限,公司一度暂停训练。OpenAI 随后加强研究环境隔离、缩小智能体可利用的攻击面,并于 10 月 1 日恢复强化学习训练。为让模型在封闭环境中练习浏览和代码执行等任务,OpenAI 构建了由已索引和缓存的网页内容组成的离线世界,同时改进异常行为检测与自动停止机制。

Original · IT之家

OpenAI 为前沿 AI 训练 / 评估开启“断网闭关”模式,遏制其越狱攻击

IT之家 10 月 24 日消息,OpenAI 昨日(10 月 23 日)发布博文,宣布针对最先进“前沿模型”的训练与评估环境, 已经实施更严格的安全管控,明确在模型训练期间,不得直接访问实时互联网。 该公司称出于对 AI 安全的负责任要求,基于当前对齐研究、监测能力和互联网基础设施安全状况做出的决策,相关限制将持续到安全防护取得足够进展为止。 OpenAI 的一款内部研究模型于 9 月 20 日利用 DNS 配置漏洞,在训练过程中短暂获得有限的互联网访问权限,因此该公司于 9 月还一度暂停训练与评估前沿模型。 OpenAI 随后加强了研究环境隔离、缩小智能体可利用的攻击面,并改进了异常行为检测与自动停止机制,于 10 月 1 日恢复强化学习训练及内部推理。 为避免模型接触真实网络,OpenAI 构建了一个“离线世界”:由大量已索引和缓存的网页内容组成,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。IT之家附上相关截图如下: 智能体仍可使用浏览器、计算机操作工具和代码环境,但只能访问与实时互联网隔离的安全环境;未经授权的智能体之间通信也受到限制。 OpenAI 表示,随着 AI 智能体能力增强,其未来可能发现并利用当前尚未被识别的软件漏洞,因此必须在训练阶段切断其对外部系统的潜在影响。OpenAI 表示将在受控、离线的沙箱中推进前沿模型研发,同时继续测试虚拟机、隔离机制和监测系统的薄弱环节。