OpenAI 部署"控制室"系统，可在 35 秒内叫停失控 AI 智能体

OpenAI 于 11 月 10 日宣布，已在内部研究设施中部署一套"控制室"系统，用于停止存在风险的 AI 任务，从收到停止指令到阻止任务继续的最长延迟为 35 秒，公司正努力将延迟缩短至 0。 与传统的可疑行为事后监控不同，这套系统采用事前授权机制：研究员启用任务时需向控制室申请唯一任务 ID，该 ID 会附加到发给推理引擎的请求中，引擎在每次执行前会咨询控制室确认任务是否可运行。一旦研究员或监控系统下达停止指令，控制室会拒绝下一次推理请求，使推理引擎不再生成任何输出。35 秒的延迟来自推理授权请求的缓存层。 系统还集成了自动化监控机制，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为并在发现潜在问题时发出警报。