AITOP

可解释性

共 167 条相关 AI 资讯
5月21日
09:46
09:46官方账号arXiv cs.AI@Paul Lintilhac, Sair Shaikh
精选
该研究从布尔函数的傅里叶谱角度分析Transformer的泛化行为，提出稀疏且集中在低阶分量的频谱能构造低锐度（low-sharpness）的平坦最小值，从而获得非平凡的泛化界。与以往基于Rademacher复杂度的方法不同，作者利用PAC-Bayes理论证明了只要目标函数的稀疏度不超过上下文长度，就能实现良好泛化。实验和机械可解释性研究支持了理论构造在真实Transformer中的可行性。这项工作为理解Transformer为何能高效泛化提供了新的理论工具。
论文Transformer泛化理论PAC-Bayes
推荐理由：理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为，做深度学习理论或可解释性的同学值得细读。
原文
5月19日
14:50
14:50官方账号arXiv cs.LG@I. B. Spielman amd J. P. Zwolak
该论文探讨了机器学习在冷原子量子模拟器中的应用，特别是图像去噪和识别玻色-爱因斯坦凝聚体中的孤子波。作者指出，尽管ML方法在性能上表现出色，但模型复杂性与可解释性之间存在权衡。研究强调了在量子物理实验中，可解释的ML模型对于理解物理机制和验证结果至关重要。论文通过具体案例展示了如何平衡性能与可解释性，为未来在量子气体实验中使用ML提供了指导。
论文机器学习量子气体可解释性
推荐理由：量子物理实验正面临数据爆炸和计算瓶颈，ML是破局关键，但黑箱模型让物理学家不放心。这篇论文用图像去噪和孤子识别两个实例，展示了如何在性能与可解释性之间找到平衡，做量子模拟或冷原子实验的研究者值得一读。
原文
10:54
10:54官方账号arXiv cs.LG@David Chanin
精选72°
一篇来自 arXiv 的论文对 SAEBench（稀疏自编码器标准评估套件）中的质量指标进行了审计，发现 Targeted Probe Perturbation (TPP) 和 Spurious Correlation Removal (SCR) 在标准设置下无法通过多种可靠性测试，不应再用于 SAE 评估。其他指标也存在噪声高、区分度低的问题。sae-probes 变体是测试中最可靠的指标，但仍难以区分同一架构的不同变体。研究结论指出，当前 SAE 领域需要更好的基准测试方法。
论文稀疏自编码器可解释性基准测试
推荐理由：做可解释性研究的团队会发现，你依赖的 SAE 评估指标可能不可靠——TPP 和 SCR 已被证伪，建议改用 sae-probes 并关注新基准的进展。
原文
10:08
10:08官方账号arXiv cs.AI@Xinchen Jin, Aditya Chatterjee, Pranav Kumar, Rohan Paleja
精选
本文提出一种事件锚定的可解释性方法，将稀疏自编码器（SAE）的特征分析与机器人行为事件（如末端执行器关键帧）对齐，而非依赖文本上下文。该方法通过视觉、状态和时间线索聚类任务内的关键帧，将SAE特征与行为事件关联，并可选地通过VLM注释提供语义背景。实验在两种仿真架构和真实机器人上验证，事件锚定排序对OpenVLA产生最强因果效应，并迁移到π₀.5的连续动作块。研究同时指出SAE作为干预基础存在稀疏性和不完美性，干预效果因架构和干预位置而异，激进干预会暴露安全性和可解释性限制。代码已开源。
论文稀疏自编码器VLA策略可解释性
推荐理由：做机器人VLA策略可解释性的研究者终于有了一个行为锚定的分析框架——事件锚定SAE直接关联动作与行为事件，比纯文本分析更贴近闭环控制，建议做机器人学习或可解释AI的团队点开看看。
原文
5月18日
23:14
23:14官方账号AlphaSignal@AlphaSignalAI
精选72°
一篇新论文提出 adVersarial Parameter Decomposition (VPD) 方法，将神经网络权重分解为小型、单一用途的子组件，每个组件处理特定任务（如表情预测或性别识别）。该方法通过对抗性消融训练保留关键行为，并成功分解了跨多头注意力计算——这一难题三年未解。VPD 可扩展到真实四层语言模型，被视为稀疏自编码器的有力竞争者。它允许通过归因图追踪信息流，甚至手动编辑特定行为并预测结果，使模型权重变得可解释。
论文可解释性VPD神经网络
推荐理由：VPD 解决了神经网络可解释性长期以来的痛点——权重不可读，做模型调试、安全对齐或研究 AI 内部机制的团队可以直接用这个工具来追踪和编辑模型行为。
原文
11:45
10:33
10:33官方账号arXiv cs.LG@Nathan Roll, Jill Kries, Laura Gwilliams, Cory Shain
精选
受人类失语症研究启发，研究者提出了一种新方法，通过“损伤”（置零）语言模型中的参数，并观察其输出在临床失语症症状测试（TAB）中的表现，来揭示模型的功能组织。对5个1B参数规模的语言模型进行112,426次测试后，发现模型能表现出全部失语症症状，但分布与人类显著不同。注意力组件（查询、键、值、输出）与前馈组件（上、门、下）之间症状谱差异明显，而同一机制内组件差异较弱。早期层损伤更易导致句法和语义症状，中后期层则更多引发音韵和流畅度缺陷。尽管某些损伤模式与特定人类失语症类型定量相似，但定性差异表明失语症综合征受学习和处理细节影响，而非语言处理中断的领域不变结果。
论文语言模型失语症可解释性
推荐理由：这项研究为理解语言模型内部功能组织提供了全新视角，做AI可解释性或认知科学交叉研究的团队值得关注——它把临床神经心理学方法搬到了模型分析中，看完会重新思考“模型损伤”的意义。
原文
5月17日
11:51
11:51elvis@omarsar0
精选
一篇关于工具使用智能体的可解释性论文揭示了模型在认知与行动之间的脱节：模型内部状态显示它知道应该调用工具，但在实际输出中却未能执行。这种不匹配率在26%到54%之间，且完全集中在认知到行动的转换阶段，而非认知本身。研究发现，模型内部的方向是可解码的，但后层最后一个token的表示几乎与产生的行动正交，导致信号丢失。该工作试图预测哪些干预措施有效，哪些无效。对于在工具调用提示上做A/B测试却遇到奇怪上限的开发者，这篇论文可能提供了很好的解释。
论文可解释性工具调用智能体
推荐理由：做工具调用智能体开发的团队，如果遇到模型明明知道该用工具却就是不调用的怪现象，这篇论文直接点出了后层几何结构的根本原因，值得一读。
原文
09:37
09:37rohanpaul_ai@rohanpaul_ai
精选
著名数学家陶哲轩指出，当前大语言模型（LLM）的训练和运行主要依赖线性代数、矩阵乘法和微积分，这些是本科生就能掌握的数学工具。然而，真正令人困惑的是为什么这些模型在某些任务上表现出色，而在其他任务上却失败，且无法提前预测。他认为，自然文本介于完全随机和完全结构化之间，而数学对中间状态的理解非常薄弱，类似于物理学在原子和连续介质之间的介观尺度面临的挑战。因此，尽管我们能描述LLM的机制，但无法解释能力跃迁或给出可靠的任务级预测。
论文LLM数学基础可解释性
推荐理由：陶哲轩点出了AI领域最核心的认知盲区——我们能用简单数学造出强大模型，却无法解释其行为，做AI研究或应用的开发者看完会重新思考“理解”的含义。
原文
5月15日
11:09
11:09官方账号arXiv cs.LG@ML Nissen Gonzalez, Melwina Albuquerque, Laurence Wroe, Jacob Meyer Cohen, Logan Riggs Smith, Thomas Dooms
精选
这篇论文提出了一种新的权重度量方法——张量相似性（Tensor Similarity），用于判断两个神经网络是否实现相同的计算。现有方法要么依赖经验行为（对分布外机制不敏感），要么依赖基依赖参数（忽略权重空间对称性）。新方法通过递归算法捕捉跨层机制，对权重空间对称性保持不变，从而更准确地衡量全局功能等价性。实验表明，张量相似性在追踪训练动态（如grokking和后门插入）方面优于现有指标。这项工作将相似性测量和忠实性验证从经验近似问题转化为可解的代数问题。
论文可解释性神经网络张量相似性
推荐理由：做可解释性研究的团队终于有了一个不依赖经验近似、能真正衡量网络等价性的工具，值得关注。
原文
5月14日
13:37
13:37官方账号Dario Amodei@DarioAmodei
精选
Anthropic CEO Dario Amodei 在推文中强调AI可解释性的紧迫性，指出理解AI模型内部工作机制对于确保安全和控制至关重要。他呼吁业界加大投入，因为随着模型能力增强，黑箱风险也在上升。该观点呼应了Anthropic一贯对AI安全透明度的重视，并暗示缺乏可解释性可能导致不可预测的后果。
行业可解释性AI安全Anthropic
事件专题
推荐理由：Amodei 点出了AI安全的核心矛盾——模型越强越难理解，做AI治理或模型开发的团队值得关注，这直接关系到未来部署的信任底线。
原文
13:26
13:26官方账号arXiv cs.LG@Chuanchuan Sun, Zhen Yu, Qin Fan, Qingchao Chen, Feng Yu
精选
妊娠相关血栓性微血管病（P-TMA）罕见但致命，早期风险预测极具挑战，因为其实验室异常常被妊娠期生理变化掩盖。该研究纳入300例妊娠（142例P-TMA，158例对照），利用146个纵向实验室指标，评估了五种机器学习算法。梯度提升模型在测试集上达到AUROC 0.872、AUPRC 0.883，敏感度0.750，特异度0.812。研究发现，第6周的胱抑素C可作为早期监测指标。这项工作展示了常规产检数据经机器学习分析后，能有效识别P-TMA风险信号。
论文机器学习妊娠相关血栓性微血管病纵向实验室数据
推荐理由：产科医生和AI医疗研究者值得关注——这项研究用常规产检数据解决了P-TMA早期预测难题，梯度提升模型表现可靠，且胱抑素C指标易于临床落地。建议点开看看具体特征分析和模型细节。
原文
01:12
01:12官方一手Anthropic: Research（资讯）
Anthropic 更新了其研究页面，展示了多个团队的最新成果。可解释性团队发布了自然语言自编码器，能将 Claude 的内部思维转化为人类可读文本。对齐团队研究了如何减少智能体对齐失败。社会影响团队发布了基于 81,000 名用户反馈的 AI 使用研究。前沿红队分析了前沿模型在网络安全、生物安全和自主系统方面的影响。这些工作共同推动了更安全、更透明的 AI 发展。
AI模型Anthropic可解释性对齐
事件专题
推荐理由：Anthropic 的可解释性研究让 Claude 的思维过程透明化，做 AI 安全或模型调试的开发者值得关注。对齐团队的智能体对齐研究对构建可靠 AI 代理的团队有直接参考价值。
原文
5月13日
21:36
21:36官方一手Anthropic: Research（资讯）
Anthropic 发布了其可解释性研究团队的官方页面，集中展示了团队在理解神经网络内部工作机制方面的核心工作。该团队致力于揭示 AI 模型如何做出决策、学习概念以及可能产生偏见，从而提升 AI 系统的安全性和可控性。页面介绍了团队的研究方向、关键成果以及开放职位，体现了 Anthropic 对 AI 安全与透明度的长期投入。对于关注 AI 安全、模型可解释性以及前沿研究的读者，这是一个重要的资源入口。
行业可解释性AI安全Anthropic
事件专题
推荐理由：Anthropic 的可解释性工作是理解 AI 黑箱的关键，做 AI 安全或模型研究的团队值得收藏这个页面，直接了解最新成果和加入机会。
原文
21:36
21:36
21:36官方一手Anthropic: Research（资讯）
75°
Anthropic 发布了一项新研究，通过自然语言自编码器将 Claude 的内部数值表示转化为人类可读的文本。该方法训练模型将其“思考”过程翻译成自然语言，使得原本难以解释的神经网络内部状态变得透明。这标志着 AI 可解释性研究的重要进展，有助于理解模型如何做出决策。研究团队展示了该方法在多个任务上的有效性，为未来更安全的 AI 系统奠定了基础。
论文可解释性自编码器Claude
事件专题
推荐理由：这项研究让 AI 的“黑箱”思考变得可读，对关注 AI 安全与可解释性的研究者和开发者来说，是理解模型行为的关键一步，值得深入阅读。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Transformer Circuits 团队发布了 2024 年 9 月更新，包含两项小型研究进展。一是对“继任头”（successor heads）的深入调查，探索其在模型中的角色与机制；二是关于稀疏自编码器（SAE）中过采样数据的影响分析。这些更新延续了团队对神经网络可解释性的持续探索，为理解 Transformer 内部运作提供了新视角。对于关注 AI 安全与模型透明度的研究者而言，这些细节有助于改进模型监控与调试方法。
论文可解释性Transformer Circuits稀疏自编码器
事件专题
推荐理由：Anthropic 的可解释性团队持续输出硬核研究，做 AI 安全或模型调试的开发者值得跟进——继任头和 SAE 过采样是理解 Transformer 内部机制的关键拼图。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Transformer Circuits 团队发布了一篇技术笔记，探讨如何利用字典学习（Dictionary Learning）提取的稀疏特征来构建有害内容分类器。研究发现，基于这些特征训练的分类器在检测有害性上优于直接使用模型原始激活值的分类器，且更具可解释性。这项工作为构建更安全、更可控的 AI 系统提供了新思路，尤其适用于需要细粒度内容审核的场景。
论文字典学习特征分类器AI安全
事件专题
推荐理由：做 AI 安全和对齐的团队可以关注——字典学习特征让分类器更准更可解释，比直接用原始激活值靠谱，值得在内容审核场景里试试。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Transformer Circuits 发布了一篇关于模型差异分析（model diffing）的初步研究笔记，提出了一种通过字典微调（dictionary fine-tuning）实现阶段式模型差异分析的方法。该方法旨在帮助研究人员理解不同训练阶段或不同微调策略下模型内部表示的变化。通过将模型分解为稀疏特征并比较这些特征在不同版本间的差异，可以更精确地定位模型行为变化的原因。这项工作对于理解模型可解释性和安全性具有重要意义，为后续研究提供了新的分析工具。
论文模型差异分析字典微调可解释性
推荐理由：做模型可解释性和安全研究的团队可以关注，这篇笔记提出了一种新的模型差异分析方法，能帮你更精准地定位模型行为变化的原因，值得一读。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Transformer Circuits 团队发布了 2024 年 8 月的更新，包含一系列小型进展。主要更新包括：可解释性评估（interpretability evals）的初步框架，用于衡量模型内部机制的可解释性；以及自解释（self-explanation）机制的复现工作，探索模型如何解释自身行为。这些工作为理解大型语言模型的内部运作提供了新工具和方法，有助于推动 AI 安全与可解释性研究。
论文可解释性Transformer Circuits评估框架
推荐理由：对于从事 AI 可解释性研究的开发者，这些更新提供了评估模型内部机制的新工具，值得关注并尝试应用到自己的工作中。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Transformer Circuits 团队发布了一篇关于使用交叉编码器（crosscoders）进行模型差异分析（model diffing）的初步研究笔记。该方法通过训练一个共享的稀疏自编码器来比较两个不同模型的内部表示，从而识别出它们在特征层面的差异。这项工作为理解模型训练过程中的变化、模型合并以及安全对齐提供了新的分析工具。目前该研究仍处于早期阶段，但展示了在可解释性领域的一种实用方法。
论文可解释性交叉编码器模型差异分析
推荐理由：对于从事 AI 可解释性、模型对齐或安全研究的团队，这篇笔记提供了一种直接比较模型内部表示的新工具，值得关注其后续发展。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 研究团队提出 Sparse Crosscoders，一种从 Transformer 模型中提取跨层一致特征的新方法。该方法通过稀疏编码器同时分析多个层的激活，能够识别出在不同层甚至不同模型中共享的特征。这为理解模型内部表示、比较不同模型之间的差异提供了工具。初步实验表明，Crosscoders 能有效发现跨层特征，并用于模型差异分析。
论文可解释性稀疏编码跨层特征
事件专题
推荐理由：想理解大模型内部机制的研究者有了新工具——Sparse Crosscoders 能跨层甚至跨模型提取一致特征，做可解释性分析的建议点开看看。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
85°
Anthropic 发布了一项关于 Claude 3.5 Haiku 内部机制的研究，将其类比为生物学研究。他们通过构建“归因图”来追踪模型在多种任务中的推理路径，发现模型内部存在类似生物体的模块化结构和功能分工。这项研究揭示了大型语言模型如何从输入到输出逐步构建理解，例如在数学推理中，模型会先识别问题类型，再调用特定计算模块。该工作为理解 AI 黑箱提供了新视角，有助于提升模型的可解释性和安全性。
论文可解释性归因图Claude 3.5 Haiku
事件专题
推荐理由：Anthropic 把模型内部机制当生物系统来研究，做 AI 可解释性的人会看到新方法论，关心模型安全性的团队值得关注。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Circuits 团队发布了2025年4月的小更新合集，涵盖三个方向：越狱机制、密集特征和可解释性入门。他们发现模型越狱与特定神经元的激活模式相关，并提出了新的防御思路。同时，团队揭示了模型中存在大量密集特征，这些特征对理解模型行为至关重要。此外，他们还提供了可解释性研究的入门指南，帮助新研究者快速上手。这些更新为AI安全与透明性提供了实用工具和方法。
论文可解释性越狱密集特征
事件专题
推荐理由：Anthropic 的 Circuits 团队把越狱和密集特征的研究门槛降低了，做AI安全或模型可解释性的研究者可以直接参考他们的新发现和入门指南。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
70°
Anthropic 团队提出了一种名为 Circuit Tracing 的方法，能够追踪语言模型在处理单个提示时的“逐步”计算过程。该方法通过构建归因图（attribution graphs），将模型内部的复杂计算分解为可解释的步骤。这项技术有助于理解模型如何从输入到输出进行推理，为模型的可解释性和安全性研究提供了新工具。论文详细介绍了方法原理和实验验证，展示了在多个模型上的应用效果。
论文可解释性计算图归因图
事件专题
推荐理由：做 AI 可解释性研究的团队终于有了一个能看清模型内部推理步骤的方法——Circuit Tracing 把黑箱计算拆成了可追踪的图结构，建议关注模型安全的研究者点开看看。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
70°
Anthropic 在 Transformer Circuits 博客上发布了关于注意力机制的最新研究进展。文章深入分析了注意力头在模型中的具体行为，包括如何聚焦于特定 token、如何形成注意力模式，以及这些模式如何影响模型的推理和生成能力。研究发现注意力机制中存在可解释的结构，有助于理解模型内部运作。这项工作对提升 AI 安全性和可解释性具有重要意义。
论文注意力机制可解释性AI安全
事件专题
推荐理由：理解注意力机制是解读大模型行为的关键，做 AI 安全或模型可解释性研究的团队值得关注这篇技术更新。
原文
21:35
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Transformer Circuits 团队发布了一篇研究，通过一个玩具模型探讨了 transcoder（一种用于解释神经网络内部表示的稀疏自编码器变体）在什么情况下会变得不忠实。研究发现，当模型需要表示的特征数量超过 transcoder 的容量时，它可能会学习到虚假的、不存在的特征，从而产生误导性的解释。这项工作揭示了当前可解释性方法的一个根本性局限：即使模型看起来工作良好，其内部表示也可能与真实计算过程脱节。这对于依赖这些工具来理解 AI 系统行为的研究者来说是一个重要警示。
论文可解释性transcoder稀疏自编码器
事件专题
推荐理由：做 AI 可解释性研究的人会直接受益——这篇论文揭示了 transcoder 可能产生虚假特征的根本原因，看完会对现有方法的可靠性有更清醒的认识。建议所有用稀疏自编码器做模型分析的人点开。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Transformer Circuits 团队发布了一篇新研究，通过构建一个简化的“玩具模型”来深入分析 Transformer 中的“干扰权重”现象。该研究揭示了注意力机制中不同信息流之间相互干扰的数学原理，解释了为什么模型在某些任务上会表现出反直觉的行为。关键发现是，干扰权重并非随机噪声，而是模型在有限容量下进行信息压缩和权衡的必然结果。这项工作为理解大语言模型的内部运作提供了新的理论视角，有助于未来设计更高效、更可控的模型架构。
论文Transformer可解释性干扰权重
事件专题
推荐理由：Anthropic 把 Transformer 内部的信息干扰机制拆解清楚了，做模型可解释性和架构优化的研究者可以直接参考这个玩具模型来验证自己的假设。
原文
21:35
21:35
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的研究团队提出了一种名为“稀疏线性变换混合”（MOLT）的新方法，用于改进转码器（transcoders）的性能。转码器是用于解释神经网络内部表示的工具，但传统方法在效率和可解释性上存在局限。MOLT 通过将多个线性变换稀疏组合，能够更高效地捕捉模型中的复杂模式。实验表明，该方法在保持解释质量的同时，显著降低了计算成本。这项工作为理解大型语言模型的内部机制提供了更实用的工具。
论文转码器可解释性稀疏混合
事件专题
推荐理由：做 AI 可解释性研究的团队终于有了更高效的转码器方案——MOLT 在保持解释质量的同时降低了计算成本，值得关注。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Transformer Circuits 团队发布了 2025 年 9 月的小更新，主要介绍了新功能和对上下文学习（in-context learning）机制的改进。更新包括对模型内部表示的可视化工具增强，以及更高效的上下文学习算法。这些改进有助于研究人员更好地理解 Transformer 模型的行为，并推动可解释性研究。该更新对于关注 AI 可解释性和模型内部机制的开发者与研究者具有参考价值。
论文Transformer Circuits上下文学习可解释性
推荐理由：Transformer Circuits 的更新为理解模型内部机制提供了新工具，做可解释性研究或模型调试的开发者值得关注。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Circuits 团队发布 2025 年 8 月更新，探讨了人格设定如何影响 AI 助手的输出。研究发现，通过调整模型内部表示，可以系统性地改变回复风格和内容。这项工作揭示了模型内部机制的运作方式，为理解 AI 行为提供了新视角。
论文可解释性人格设定模型内部机制
事件专题
推荐理由：对 AI 可解释性研究感兴趣的读者值得关注，这揭示了模型内部如何响应人格设定，有助于构建更可控的 AI 系统。
原文
21:35
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
85°
研究人员训练Claude模型将其内部激活状态翻译成自然语言，实现了对LLM内部表征的无监督解释。该方法通过自然语言自编码器（NLA）将高维激活映射到可读文本，无需人工标注即可揭示模型在推理过程中的关键概念和决策依据。实验表明，NLA生成的解释与模型实际行为高度一致，为理解大模型的黑箱机制提供了新工具。这项研究来自Transformer Circuits团队，发表于2026年，对AI安全性和可解释性研究具有重要意义。
论文可解释性Claude自然语言自编码器
推荐理由：这项研究让LLM自己说出它的思考过程，做AI安全或模型可解释性的研究者可以直接用这个工具来理解模型行为，比传统探针方法更直观。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
70°
Transformer Circuits 团队发现大型语言模型具备内省能力，能反思自身内部状态。研究通过一系列实验证明，模型在特定条件下可以识别并报告其内部表征，而非仅依赖训练数据中的模式。这一发现挑战了当前对 AI 意识的理解，可能对模型可解释性和安全性产生深远影响。研究还探讨了内省能力与模型规模、训练数据的关系，为未来 AI 自我认知研究开辟新方向。
论文内省意识可解释性AI 安全
推荐理由：这项研究揭示了 LLM 可能具备自我反思能力，对 AI 安全与可解释性研究者来说，这是理解模型内部运作的关键突破，值得深入阅读。
原文
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
85°
Sofroniew 等人在 2026 年的研究中发现，Claude Sonnet 4.5 内部存在情感概念的表征，并且这些表征对模型的输出有因果影响。研究通过探针和干预实验，定位了与“快乐”、“悲伤”、“愤怒”等情感相关的神经元活动模式。当人为激活或抑制这些情感表征时，模型的回答风格和内容会相应改变。这一发现揭示了大型语言模型如何模拟情感，并为理解其内部机制提供了新视角。
论文情感表征因果影响Claude Sonnet 4.5
推荐理由：这项研究首次实证了 LLM 内部情感表征的因果作用，对理解 AI 安全与对齐、以及情感计算领域的开发者来说，是值得细读的突破性工作。
原文
21:35
19:12
19:12官方账号arXiv cs.AI@Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana
精选
该研究提出大语言模型（LLM）的上下文学习可视为在低维几何空间（概念信念空间）中的轨迹更新。通过故事理解任务，结合行为与表征分析发现：信念更新在低维结构化流形上可被良好描述；模型行为与内部表征一致反映该结构，且可用简单线性探针解码预测行为；对表征的干预能因果性地引导信念轨迹，效果可从概念空间几何预测。该工作为 LLM 的贝叶斯解释提供了结构化几何基础。
论文上下文学习信念空间几何表征
推荐理由：这项研究把 LLM 上下文学习的黑箱过程可视化成了几何轨迹，做可解释性、推理机制或认知建模的研究者值得关注——它提供了干预模型信念的实操方法，看完会有启发。
原文