OpenAI 部署"控制室"系统，可在 35 秒内叫停失控 AI 智能体
35 秒内“叫停”失控的 AI 智能体，OpenAI 部署“控制室”系统
OpenAI 给自家智能体任务装了个"总开关"，每次推理前都要过控制室审核，不批准就不吐结果。和事后报警式的监控比，这种事前拦截更硬核。做智能体开发和公司安全团队都值得看看这套机制怎么搭。
OpenAI 于 11 月 10 日宣布，已在内部研究设施中部署一套"控制室"系统，用于停止存在风险的 AI 任务，从收到停止指令到阻止任务继续的最长延迟为 35 秒，公司正努力将延迟缩短至 0。
与传统的可疑行为事后监控不同，这套系统采用事前授权机制：研究员启用任务时需向控制室申请唯一任务 ID，该 ID 会附加到发给推理引擎的请求中，引擎在每次执行前会咨询控制室确认任务是否可运行。一旦研究员或监控系统下达停止指令，控制室会拒绝下一次推理请求，使推理引擎不再生成任何输出。35 秒的延迟来自推理授权请求的缓存层。
系统还集成了自动化监控机制，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为并在发现潜在问题时发出警报。
35 秒内“叫停”失控的 AI 智能体，OpenAI 部署“控制室”系统
IT之家 11 月 10 日消息，OpenAI 今天宣布，公司已在内部研究设施中部署“控制室”系统，用于停止可能存在风险的 AI 任务，可在 35 秒内“叫停”失控的 AI 智能体。 据介绍，这套系统将智能体训练、评估和数据处理任务等负载接入中央服务，然后由系统负责决定任务能否继续输出。 IT之家了解到，这套系统与负责标记可疑行为的传统监控不同，它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时，需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室，确认相关任务是否可以运行。 如果研究员或监控系统下令停止指示，控制室服务就会拒绝下一次推理请求，让推理引擎不再为任务声称任何模型输出。 OpenAI 表示， 这套系统从收到停止指令 ， 到阻止任务进一步继续的最长延迟为 35 秒 。这种延迟源于推理授权请求的缓存层，公司正努力将延迟缩短至 0。 该系统还具备自动化监控机制集成。OpenAI 透露，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为，并在发现潜在问题时发出警报。
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Key entities and technical topics under continuous tracking include OpenAI, 智能体, AI安全, 强化学习.
Source attribution: curated from IT之家. Cross-source corroboration: 11 independent sources have covered this development (including OpenAI, theverge, marktechpost), confirming industry-wide signal strength.
