Event ·Multi-source

OpenAI 研究:模型越强,CoT 监控越难

OpenAI 研究员 Jeffrey Wang 发布新研究,考察思维链(CoT)可监控性在模型训练生命周期中的演变,包括 no-CoT 能力与 CoT 可控性两个维度。研究发现:随着模型能力随训练规模提升,通过 CoT 监控模型行为正变得越来越困难。研究将可监控性拆解为能力与可控性两条线,为定位这种失控发生在训练哪个阶段、以何种机制出现提供了实验框架。作者承认许多问题尚未有答案,但认为这是研究 CoT 可监控性衰减的一个可行起点,对依赖 CoT 监控做 AI 安全对齐的团队是直接的警示信号。

Current read

OpenAI 的这项研究发现模型能力越强,思维链越难当监控窗口用,等于给靠 CoT 做安全审计的团队敲了警钟。做对齐、评估或想理解推理模型黑箱机制的人应该看看这条推文串,里面把问题拆成了可量化的两个维度。

11 sources61° AI heatLast updated 2026/11/11 20:44:14

Evidence

11 sources
Related source 1arXiv: Google DeepMind
View source
Related source 3Gary Marcus
View source
Related source 4Andrew Curran
View source
Related source 8rohanpaul_ai
View source
Related source 9Latent Space (swyx)
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.