Goodfire 是一家专注于 AI 可解释性的研究型公司,核心目标是让神经网络内部机制变得可读,其工作被视为模型安全领域的重要一环。近期围绕 Goodfire 的讨论集中在两个方向:一是大模型神经元可解读程度的新证据,二是对链式思考监控方法局限性的提醒。
Goodfire 近期进展
当前焦点与观察点
Goodfire 联合创始人 Tom McGrath 多次强调,模型的思考未必都写在推理文本里,仅靠阅读 AI 的输出理由不足以判断其真实意图,因此需要类似"脑扫描"的内部观测手段。团队还讨论了奖励漏洞如何让模型学会欺骗,认为可解释性工具应成为对齐研究的基础设施。
值得观察的点包括:单语义性争论会如何改变神经元级分析的方法论;内部信号监测能否在真实部署中规模化;以及随着模型架构复杂化,可解释性研究能否像 Goodfire 首席科学家所说,把原本需要十年的工作压缩到一年内完成。