Nick Cammarata 是 AI 可解释性(interpretability)领域的研究者,此前在 OpenAI 从事相关方向,近期因提出用 Agent 方法重做神经元可解释性研究而重新受到关注。他的核心观点是:传统认为单个神经元同时对应多种概念(即多义性,polysemanticity)的结论,可能只是因为旧方法做得不够好,而不是模型本身的固有属性。这一说法引发了社区对可解释性研究方法论的新一轮讨论。
Nick Cammarata 近期进展
当前焦点与观察点
争议核心在于:如果多义性并非模型固有属性,而是早期研究手段的局限,那么以往建立在多义性假设上的大量可解释性工作(如稀疏自编码器 SAE 的动机)可能需要重新审视。支持者认为这代表了可解释性研究的新范式——用更强的自动化 Agent 替代人工标注;质疑者则指出单义解释的评估标准本身不客观,容易自我循环验证。
接下来值得观察的点包括:其方法能否在更大模型上复现、社区是否会形成统一的单义性评测基准,以及 OpenAI 等前沿实验室是否将该思路纳入正式的 safety 研究管线。在缺乏第三方独立验证前,这一“推翻多义性”的结论仍应被视为一个有影响力的假说,而非定论。