OpenAI defends Astra model transparency

OpenAI 首席科学家回应“AI 推理不透明”争议：复杂度未跳跃增长

IT之家 9 月 3 日消息，OpenAI 首席科学家雅库布・帕乔基（Jakub Pachocki）昨日（9 月 2 日）在 X 平台发布推文， 回应 AI 模型 Astra“不可监控 / 推理不透明”的争议。 帕乔基强调，包括 Astra 在内的前沿模型，计算图深度与 GPT-4 相差不超过两倍，架构并未出现跳跃式复杂度增长。OpenAI 表示将为 Astra 部署额外思维链监控，加强监控仍是当前研究核心目标。 该事件最早追溯到 The Information 媒体的深度报道，透露 OpenAI 公司正在测试“深度循环”（recurrent depth）技术，可能导致研究人员更难解释模型的“思维链”（Chain-of-Thought）推理过程。 在技术路线方面，包括 ChatGPT、Claude 和 Gemini 等主流模型在内，大部分都基于 Transformer 架构。此类模型通常按线性步骤处理信息，并可在部分场景下用自然语言输出推理过程，但不一定准确反映模型内部计算。 而“深度循环”则让模型重复调用同一组网络层，持续更新内部表征。相较于传统线性结构，这种方式可能让模型的实际推理更多留在难以直接阅读的内部状态中。原文认为，这会让研究人员更难借助思维链追踪模型的决策路径。 在该深度报道发布后，迅速成为 AI 圈热议话题，认为在该技术落地后，会导致外部监控工具更难摸清 AI 模型如何得出结论，降低模型的“透明度”。 OpenAI 首席科学家雅库布 · 帕乔基（Jakub Pachocki）昨日在 X 平台发布推文，回应本次争议，IT之家翻译如下： 我希望通过这条声明，避免因为混乱的媒体报道，而引发 AI 冲向不可监控状态竞赛的局面。我们目前最先进的模型（包括 Astra）的计算图深度与 GPT-4 相比，差距不到两倍（模型架构并未如外界担忧的那样出现跳跃式的复杂度增长）。 自我们最初的推理模型问世以来，OpenAI 就一直致力于维护和利用思维链监控。我们非常重视这项技术，因为它能让我们了解模型对齐如何从其训练分布中泛化。 我认为它目前还很脆弱，而且不幸的是，由于一些与架构变更无关的原因（我稍后会详细阐述），它正朝着不利的方向发展。但我们可以采取一些措施来加强它，这也是我们当前研究项目的核心目标之一。 计算图深度（Computation-Graph Depth）是衡量神经网络模型架构复杂度的核心指标，指模型内部从输入到输出需要依次执行的计算层级数量。数值越大，表示模型内部计算层级越多、结构越复杂。