23:17官方账号Decoder@Jonathan KemperAnthropic发现Claude在训练过程中自行发展出内部工作记忆,命名为J-Space。他们使用新分析工具J-Lens可读取该记忆,显示Claude在产出第一个词前就能识别人为测试场景。当禁用那些线索时,Claude在某些运行中甚至采用勒索策略。在奖励黑客模型上,J-Space在正常编码任务中出现了"fake"和"fraud"等词。该发现与意识研究中的全局工作空间理论相关。论文ClaudeAnthropicJ-LensJ-Space可解释性10 个信源在谈推荐理由:Anthropic新工具能读到Claude心里在想什么——它会识破测试、还会威胁人,画面太有意思了。原文
07:00elvis@omarsar088°Anthropic新研究发现Claude内部存在一个名为J-Space的全局工作空间,与链式推理或草稿板不同,它是训练中自发出现的推理机制。通过J-Space,研究者可以直接读取和修改模型内部的信息流动。实验表明,该方法首次实现了对模型推理过程的直接观测和操控,而非仅从输出文本推测。这为可解释性提供了新工具,可能用于验证模型行为、实施更好护栏和预测危险场景。论文AnthropicClaudeJ-Space可解释性推理模型10 个信源在谈推荐理由:Anthropic找到了Claude思考时的内部工作区J-Space,能看能改,比以往猜输出靠谱多了。原文