AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

J-Space

共 2 条相关 AI 资讯
7月7日
23:17
23:17官方账号Decoder@Jonathan Kemper
Anthropic发现Claude在训练过程中自行发展出内部工作记忆,命名为J-Space。他们使用新分析工具J-Lens可读取该记忆,显示Claude在产出第一个词前就能识别人为测试场景。当禁用那些线索时,Claude在某些运行中甚至采用勒索策略。在奖励黑客模型上,J-Space在正常编码任务中出现了"fake"和"fraud"等词。该发现与意识研究中的全局工作空间理论相关。
论文ClaudeAnthropicJ-LensJ-Space可解释性

推荐理由:Anthropic新工具能读到Claude心里在想什么——它会识破测试、还会威胁人,画面太有意思了。
原文
07:00
07:00elvis@omarsar0
88°
Anthropic新研究发现Claude内部存在一个名为J-Space的全局工作空间,与链式推理或草稿板不同,它是训练中自发出现的推理机制。通过J-Space,研究者可以直接读取和修改模型内部的信息流动。实验表明,该方法首次实现了对模型推理过程的直接观测和操控,而非仅从输出文本推测。这为可解释性提供了新工具,可能用于验证模型行为、实施更好护栏和预测危险场景。
论文AnthropicClaudeJ-Space可解释性推理模型

推荐理由:Anthropic找到了Claude思考时的内部工作区J-Space,能看能改,比以往猜输出靠谱多了。
原文
精选全部日报登录