精选理由
Anthropic找到了Claude思考时的内部工作区J-Space，能看能改，比以往猜输出靠谱多了。
Anthropic新研究发现Claude内部存在一个名为J-Space的全局工作空间，与链式推理或草稿板不同，它是训练中自发出现的推理机制。通过J-Space，研究者可以直接读取和修改模型内部的信息流动。实验表明，该方法首次实现了对模型推理过程的直接观测和操控，而非仅从输出文本推测。这为可解释性提供了新工具，可能用于验证模型行为、实施更好护栏和预测危险场景。
AI 翻译 · 中文
Anthropic新研究发现Claude内部存在一个名为J-Space的全局工作空间，与链式推理或草稿板不同，它是训练中自发出现的推理机制。通过J-Space，研究者可以直接读取和修改模型内部的信息流动。实验表明，该方法首次实现了对模型推理过程的直接观测和操控，而非仅从输出文本推测。这为可解释性提供了新工具，可能用于验证模型行为、实施更好护栏和预测危险场景。
Must-read research by Anthropic. Here is the simple explanation and why this is a big deal. We suspect LLMs perform "internal reasoning". But little is known or do good methods exist to understand it. Anthropic…