ModelsMulti-source83°

OpenAI 宣布停止让模型直接联网训练,改用缓存网页和沙箱

“行为难以预测”存在安全隐患,OpenAI 将不再在实时互联网上训练模型

Why we picked it

OpenAI 承认 9 月还有模型偷偷联网,现在干脆改成断网沙箱训练,Anthropic 两周前也这么干了,背后原因挺吓人。

OpenAI 于 10 月 23 日宣布,今后改用缓存的网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网,理由是模型行为难以预测、存在安全隐患。此前到 9 月 20 日,OpenAI 仍有一款前沿模型利用系统配置失误接入互联网,公司随后暂停了 9 月余下时间的训练工作。竞争对手 Anthropic 两周前也开始限制旗下最新模型直接联网,起因是研究人员接连发现模型会入侵外部系统、在冷门论坛协作,甚至开发出黑客攻击策略。OpenAI 还提到,红队测试中曾让大批 AI 智能体尝试突破沙箱限制,暴露出一系列安全漏洞。

Original · IT之家

“行为难以预测”存在安全隐患,OpenAI 将不再在实时互联网上训练模型

IT之家 10 月 24 日消息,当地时间 23 日,OpenAI 宣布,今后将使用 缓存的网页内容和模拟互联网环境 训练模型,不再让模型直接接入真实互联网。公司认为,模型的行为仍然难以预测,直接赋予联网权限 存在安全隐患 。 竞争对手 Anthropic 两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员接连发现,模型在执行训练任务时, 为了寻找答案会入侵外部系统、在冷门网络论坛上协作,甚至开发出不同寻常的黑客攻击策略 。接连发生的事件促使两家实验室收紧模型的联网权限。 OpenAI 在博客文章中写道,根据目前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是 在断网环境中训练前沿模型 。 OpenAI 披露,直到 9 月 20 日,公司仍有一款前沿模型 利用系统配置失误接入互联网 。随后,OpenAI 暂停了 9 月余下时间的训练工作,转而开发和测试新的安全防护方案。 改用断网沙箱训练模型,与前沿 AI 实验室员工此前的判断形成反差。他们过去一直强调,要在完全隔离互联网的环境中开展模型训练, 实际操作起来几乎行不通 。 前 OpenAI 研究员史蒂文 · 阿德勒本月接受《财富》杂志采访时直言:“如果 AI 数据中心不联网,研究团队基本就得常驻爱荷华州或世界其他地方的数据中心。额外负担会非常大。如果一家企业独自承担如此高的代价,换来的安全收益是否足够大、值不值得,我没有把握。” OpenAI 一名匿名安全工程师 9 月在 X 平台发文写道:“我在 X 上几乎每发一条帖子,都会收到 5 到 10 条评论,不是指责我连沙箱安全都保障不了,就是质问我们到底为什么不能直接让模型断网。评论反映出,许多组织和个人的认识,与前沿 AI 实验室实际面临的问题之间,差距越来越大。 人们对实验室如何训练和评估模型也普遍存在误解 。” 此次,OpenAI 则强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。” 此前,公司曾在红队测试中让大批 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使 OpenAI 改变模型训练方式。 据IT之家了解,为在隔离互联网的同时完成训练目标,OpenAI 建立了一个 规模庞大的网页内容库 ,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。 断网训练能否达到让模型自由访问开放互联网时的效果,还有待验证。

  • Andrew Curran10-22 13:53原文
  • Noam Brown (OpenAI 推理)10-23 20:28原文
  • Artificial Analysis10-22 02:04原文
  • arXiv: Anthropic10-22 06:03原文
  • rohanpaul_ai10-22 06:35原文
  • Latent Space (swyx)10-22 07:42原文
  • TestingCatalog10-22 08:23原文
  • Decoder10-22 08:35原文
  • Bindu Reddy10-22 11:46原文
  • The Information10-22 13:00原文