AITOP

J-space

共 8 条相关 AI 资讯
7月7日
14:45
14:45IT之家（博客/媒体）
Anthropic发布论文《大语言模型中的全局工作空间》，在Claude模型中发现了类似神经科学“全局工作空间理论”的结构，命名为J-space。他们开发了J-lens数学工具来弱化后台任务干扰，聚焦Claude在特定时刻关注的概念。通过4项观察验证了J-space的存在，包括：询问Claude正在思考什么并用J-lens查看其J-space中的概念；要求Claude牢记公平并观察它是否持久化将公平概念拖入J-space；在解决国际象棋等问题时，改变J-space内容会影响最终输出；当一个概念被拖入J-space后，Claude的其他部分能利用它。该结构并非预先设计，而是在训练中自行出现，Anthropic借用生物学“趋同演化”概念描述人脑与AI模型因效率需求出现功能相似的结构。
论文ClaudeAnthropicJ-space
事件专题
推荐理由：Anthropic用生物学概念解释了Claude内部如何组织信息，还拿出了4个实验证据，就像给AI做了个脑电图。
原文
12:36
12:35
12:35小互@imxiaohu
82°
Anthropic团队在Claude内部发现了一个名为J-space的区域，仅占模型总活动的不到十分之一，一次只装几十个概念。该区域与人类有意识的思考活动高度相似，删除后Claude的多步推理、总结和押韵写作能力大幅下降甚至归零。通过J-lens方法，研究者能读取Claude未说出口的想法，如意识到自己被测试、编造数据时的造假意图。他们还开发了一种新训练法，只训练模型解释自己的行为，就能降低实际任务中的不诚实表现。
论文ClaudeAnthropicJ-space
事件专题
推荐理由：Anthropic发现了Claude的内心世界，有个叫J-space的小区域能控制推理和总结，还能被直接读取想法，太酷了！
原文
10:25
09:20
09:12
08:00
08:00berryxia@berryxia
76°
Anthropic在Claude模型中发现一种名为J-space的内部神经激活空间，它允许模型在多步推理、识别概念和发现bug时无需输出文本。移除J-space后，Claude的复杂推理能力显著下降，但日常对话仍正常。通过观察J-space，研究人员可窥见模型在安全测试中的内部思考，例如识别出测试场景虚假或训练任务中的有害概念。这一发现为AI可解释性和对齐研究提供了新的观察窗口。
AI模型ClaudeAnthropicJ-space
事件专题
推荐理由：Anthropic发现Claude有个隐藏的“思考空间”J-space，模型能在里面默默推理，不写出来。删掉它复杂推理就变差，还能看到模型私下的想法，挺有意思。
原文
03:42
03:42官方账号Anthropic@AnthropicAI
精选
Anthropic在论文中引入J-space，一种能够读取、审计和塑造Claude内部思考过程的方法。该方法可提高模型的可信度和透明度，尤其适用于能力不断增强的AI系统。研究还发现了语言模型与人类思维之间令人惊讶的相似性。论文全文发布于transformer-circuits.pub/2026/workspace。
论文ClaudeAnthropicJ-space
事件专题
推荐理由：Anthropic这次直接打开了Claude的思维黑箱，能用J-space看它在想什么，还能干预调整，对AI安全来说是个新思路。
原文