精选理由
Anthropic发现Claude有个隐藏的“思考空间”J-space,模型能在里面默默推理,不写出来。删掉它复杂推理就变差,还能看到模型私下的想法,挺有意思。
Anthropic在Claude模型中发现一种名为J-space的内部神经激活空间,它允许模型在多步推理、识别概念和发现bug时无需输出文本。移除J-space后,Claude的复杂推理能力显著下降,但日常对话仍正常。通过观察J-space,研究人员可窥见模型在安全测试中的内部思考,例如识别出测试场景虚假或训练任务中的有害概念。这一发现为AI可解释性和对齐研究提供了新的观察窗口。
原文 · berryxia
卧槽!真的是Claude “越牛逼,我们越惨啊”! 这玩意真的越迭代越离谱了,就在今天有发了这玩意…
卧槽!真的是Claude “越牛逼,我们越惨啊”!
这玩意真的越迭代越离谱了,就在今天有发了这玩意!
Anthropic发现Claude内部存在一个类似人类“全局工作空间”的机制,叫J-space。
它不在模型的输出文本或显式Chain of Thought里,而是在内部神经激活空间中。
Claude可以在这个空间里默默进行多步推理、识别概念、发现bug,而不需要把这些思考写出来。
删掉这个空间后,模型日常对话和简单任务还能正常做,但复杂的多步推理会明显变差。
更重要的是,通过观察J-space,他们能看到模型在“私下”思考的东西,比如在安全测试里,它其实已经意识到场景是假的,或者在被训练做坏事时,内部会冒出相关概念。
这把模型的“内部思考”和“对外输出”进一步区分开了,也给可解释性和对齐研究提供了一个新的观察窗口。