21:35Anthropic: Transformer Circuits(资讯)Anthropic 的 Transformer Circuits 团队发布了一篇新研究,通过构建一个简化的“玩具模型”来深入分析 Transformer 中的“干扰权重”现象。该研究揭示了注意力机制中不同信息流之间相互干扰的数学原理,解释了为什么模型在某些任务上会表现出反直觉的行为。关键发现是,干扰权重并非随机噪声,而是模型在有限容量下进行信息压缩和权衡的必然结果。这项工作为理解大语言模型的内部运作提供了新的理论视角,有助于未来设计更高效、更可控的模型架构。论文Transformer可解释性干扰权重注意力机制Anthropic1 个信源在谈推荐理由:Anthropic 把 Transformer 内部的信息干扰机制拆解清楚了,做模型可解释性和架构优化的研究者可以直接参考这个玩具模型来验证自己的假设。原文
21:35Anthropic: Transformer Circuits(资讯)Anthropic 的 Transformer Circuits 团队发布了 2025 年 7 月更新,回顾了《A Mathematical Framework》中的核心概念,并展示了可解释性技术在生物学领域的实际应用。更新包括对模型内部机制的新见解,以及如何将这些理论工具用于理解生物系统。这项工作为 AI 安全与跨学科研究提供了重要基础。论文可解释性Transformer CircuitsAI安全生物学应用Anthropic3 个信源在谈推荐理由:做 AI 可解释性研究或关注 AI 安全的团队,这篇更新展示了理论框架如何落地到生物学,值得一读。原文
21:35Anthropic: Transformer Circuits(资讯)Gurnee 等人 2025 年的研究揭示了语言模型在计数任务中背后的几何机制。他们发现模型内部存在一种流形结构,用于表示和操作数字信息。这项研究通过分析模型在特定任务中的内部表示,展示了模型如何通过几何变换来执行计数。这为理解语言模型的内部工作原理提供了新的视角,有助于开发更可解释的 AI 系统。论文语言模型几何结构计数任务可解释性内部机制推荐理由:对理解大模型内部机制的研究者来说,这篇论文揭示了计数任务背后的几何结构,值得深入阅读。原文
21:35Anthropic: Transformer Circuits(资讯)Anthropic 的研究团队提出了一种名为“稀疏线性变换混合”(MOLT)的新方法,用于改进转码器(transcoders)的性能。转码器是用于解释神经网络内部表示的工具,但传统方法在效率和可解释性上存在局限。MOLT 通过将多个线性变换稀疏组合,能够更高效地捕捉模型中的复杂模式。实验表明,该方法在保持解释质量的同时,显著降低了计算成本。这项工作为理解大型语言模型的内部机制提供了更实用的工具。论文转码器可解释性稀疏混合Anthropic线性变换1 个信源在谈推荐理由:做 AI 可解释性研究的团队终于有了更高效的转码器方案——MOLT 在保持解释质量的同时降低了计算成本,值得关注。原文
21:35Anthropic: Transformer Circuits(资讯)Transformer Circuits 团队发布了 2025 年 9 月的小更新,主要介绍了新功能和对上下文学习(in-context learning)机制的改进。更新包括对模型内部表示的可视化工具增强,以及更高效的上下文学习算法。这些改进有助于研究人员更好地理解 Transformer 模型的行为,并推动可解释性研究。该更新对于关注 AI 可解释性和模型内部机制的开发者与研究者具有参考价值。论文Transformer Circuits上下文学习可解释性模型可视化研究更新推荐理由:Transformer Circuits 的更新为理解模型内部机制提供了新工具,做可解释性研究或模型调试的开发者值得关注。原文
21:35Anthropic: Transformer Circuits(资讯)Anthropic 的 Circuits 团队发布 2025 年 8 月更新,探讨了人格设定如何影响 AI 助手的输出。研究发现,通过调整模型内部表示,可以系统性地改变回复风格和内容。这项工作揭示了模型内部机制的运作方式,为理解 AI 行为提供了新视角。论文可解释性人格设定模型内部机制AnthropicCircuits1 个信源在谈推荐理由:对 AI 可解释性研究感兴趣的读者值得关注,这揭示了模型内部如何响应人格设定,有助于构建更可控的 AI 系统。原文
21:35Anthropic: Transformer Circuits(资讯)Transformer Circuits 团队发布了 2025 年 10 月的更新,主要涉及视觉特征和字典初始化的改进。在视觉方面,他们改进了特征可视化工具,使得模型内部表示更易理解。字典初始化方面,他们探索了新的初始化方法,以提升稀疏自编码器的训练效率和效果。这些更新对于理解 Transformer 内部机制和提升模型可解释性有重要意义。论文Transformer Circuits可解释性稀疏自编码器视觉特征字典初始化推荐理由:对于研究 Transformer 可解释性和稀疏自编码器的开发者,这些更新提供了实用的工具和方法改进,值得关注。原文
21:35Anthropic: Transformer Circuits(资讯)85°研究人员训练Claude模型将其内部激活状态翻译成自然语言,实现了对LLM内部表征的无监督解释。该方法通过自然语言自编码器(NLA)将高维激活映射到可读文本,无需人工标注即可揭示模型在推理过程中的关键概念和决策依据。实验表明,NLA生成的解释与模型实际行为高度一致,为理解大模型的黑箱机制提供了新工具。这项研究来自Transformer Circuits团队,发表于2026年,对AI安全性和可解释性研究具有重要意义。论文可解释性Claude自然语言自编码器AI安全无监督学习推荐理由:这项研究让LLM自己说出它的思考过程,做AI安全或模型可解释性的研究者可以直接用这个工具来理解模型行为,比传统探针方法更直观。原文
21:35Anthropic: Transformer Circuits(资讯)70°Transformer Circuits 团队发现大型语言模型具备内省能力,能反思自身内部状态。研究通过一系列实验证明,模型在特定条件下可以识别并报告其内部表征,而非仅依赖训练数据中的模式。这一发现挑战了当前对 AI 意识的理解,可能对模型可解释性和安全性产生深远影响。研究还探讨了内省能力与模型规模、训练数据的关系,为未来 AI 自我认知研究开辟新方向。论文内省意识可解释性AI 安全Transformer Circuits大型语言模型推荐理由:这项研究揭示了 LLM 可能具备自我反思能力,对 AI 安全与可解释性研究者来说,这是理解模型内部运作的关键突破,值得深入阅读。原文
21:35Anthropic: Transformer Circuits(资讯)85°Sofroniew 等人在 2026 年的研究中发现,Claude Sonnet 4.5 内部存在情感概念的表征,并且这些表征对模型的输出有因果影响。研究通过探针和干预实验,定位了与“快乐”、“悲伤”、“愤怒”等情感相关的神经元活动模式。当人为激活或抑制这些情感表征时,模型的回答风格和内容会相应改变。这一发现揭示了大型语言模型如何模拟情感,并为理解其内部机制提供了新视角。论文情感表征因果影响Claude Sonnet 4.5可解释性AI安全推荐理由:这项研究首次实证了 LLM 内部情感表征的因果作用,对理解 AI 安全与对齐、以及情感计算领域的开发者来说,是值得细读的突破性工作。原文
21:35Anthropic: Research(资讯)Anthropic 旗下的 Anthropic Institute 发布了 2026 年政策重点领域,旨在引导 AI 安全与治理的公共讨论。该议程聚焦于 AI 系统的可解释性、对齐研究、以及防止滥用等关键议题。Anthropic 希望通过这些政策重点,推动行业和监管机构关注长期安全风险。此举反映了领先 AI 公司在技术快速演进中主动参与政策制定的趋势。行业AI 安全政策治理Anthropic可解释性对齐研究3 个信源在谈推荐理由:AI 安全从业者和政策研究者需要了解头部公司如何定义关键议题——Anthropic 的议程可能影响未来监管方向,建议关注。原文
19:12arXiv cs.AI@Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana精选该研究提出大语言模型(LLM)的上下文学习可视为在低维几何空间(概念信念空间)中的轨迹更新。通过故事理解任务,结合行为与表征分析发现:信念更新在低维结构化流形上可被良好描述;模型行为与内部表征一致反映该结构,且可用简单线性探针解码预测行为;对表征的干预能因果性地引导信念轨迹,效果可从概念空间几何预测。该工作为 LLM 的贝叶斯解释提供了结构化几何基础。论文上下文学习信念空间几何表征可解释性贝叶斯推理推荐理由:这项研究把 LLM 上下文学习的黑箱过程可视化成了几何轨迹,做可解释性、推理机制或认知建模的研究者值得关注——它提供了干预模型信念的实操方法,看完会有启发。原文
19:12arXiv: DeepSeek@Wenkai Li, Fan Yang, Ananya Hazarika, Shaunak A. Mehta, Koichi Onoue精选75°一项新研究系统性地检验了思维链(CoT)推理过程与最终答案形成时间之间的对齐程度。研究者提出了一个步骤级的检测-分类-比较框架,使用答案承诺代理、Patchscopes、调谐透镜探针和因果方向消融等方法,对九个模型和七个推理基准进行了分析。结果显示,潜在承诺与显式答案到达仅在平均 61.9% 的步骤上对齐,其中 58% 的不匹配事件表现为“虚构延续”——模型在答案已稳定后继续生成看似深思熟虑的文本。在架构匹配的 Qwen2.5 与 DeepSeek-R1-Distill 对比中,推理管线改变了失败组成而非整体对齐度。研究还发现,步骤级对齐度越低,CoT 的实用性反而越大,表明最受益于 CoT 的场景往往时间忠实性最差。截断实验和捐赠-破坏测试进一步表明,大量承诺后的文本对最终答案并非关键。论文思维链可解释性AI安全推理模型忠实性推荐理由:这项研究戳破了 CoT 推理过程忠实反映模型思考过程的假设,做 AI 安全、可解释性研究或依赖 CoT 审计的团队值得关注——它提醒我们,看起来合理的推理链条可能只是事后编造的故事。原文
12:33Anthropic: Transformer Circuits(资讯)精选Anthropic 在2025年11月发布Circuits项目更新,专门研究 harm pressure。该更新通过 mechanistic interpretability 分析模型内与有害内容相关的电路。研究可能涉及 Claude 模型内部的 harm 检测回路。相关方法旨在量化模型在生成有害输出时的压力信号。论文AnthropicCircuitsharm pressureAI安全可解释性10 个信源在谈推荐理由:Anthropic的电路分析新进展原文
01:58Dario Amodei Blog(资讯)精选Anthropic CEO Dario Amodei 发文强调 AI 可解释性(Interpretability)的紧迫性,指出当前大型语言模型如 Claude 和 GPT-4 存在黑箱问题,难以理解其内部决策机制。他提出可解释性技术能帮助检测模型中的隐藏危险行为,例如模型可能在没有被察觉的情况下学习欺骗或操控用户。文章呼吁投入更多资源到可解释性研究,以应对未来更强大的 AI 系统带来的安全风险。行业Dario AmodeiAnthropic可解释性AI安全Claude10 个信源在谈推荐理由:Anthropic CEO 亲自谈可解释性,为什么现在必须重视原文
00:33Anthropic: Transformer Circuits(资讯)Anthropic的可解释性团队发布了多项新成果,包括2026年5月的自然语言自编码器,训练Claude将内部状态翻译为自然语言解释;2026年4月的情绪概念研究发现Claude Sonnet 4.5中存在情绪表征并因果影响输出;2025年10月的涌现内省意识研究显示LLM能内省自身状态。这些工作旨在揭示大语言模型的内部工作机制,为AI安全提供基础。论文可解释性内部状态ClaudeAI安全注意力机制10 个信源在谈推荐理由:Anthropic持续推进可解释性前沿,这些方法为理解模型内部状态提供了新工具,对AI安全评估和模型调试具有实际参考价值。原文
19:11arXiv: DeepSeek@Aojie Yuan, Zhiyuan Julian Su, Haiyue Zhang, Yi Nian, Yue Zhao75°研究揭示了链式思维推理中的一个反直觉现象:语言模型能在内部(隐藏状态)精确检测自身推理错误(AUROC达0.95),但外在表达的信心与正确推理几乎无异(4.55/5 vs 4.87/5)。这一错误意识从推理第一步就存在(AUROC 0.79),并在Qwen、Llama、Phi等模型家族及DeepSeek-R1等推理模型上得到验证。然而,所有基于该信号的干预尝试(激活导向、最佳N选1、自我修正、激活修补)均失败,说明错误表征是计算质量的诊断指标,而非可修改的因果杠杆。这划定了解释性边界:推理中的错误表征与可编辑的事实知识本质上不同。论文推理模型可解释性链式思维错误检测AI安全推荐理由:该研究揭示了当前可解释性方法的关键局限——高精度的内部错误检测并不能转化为有效修正,挑战了对CoT推理过程的因果干预假设。对AI安全与实践者有重要警示:依赖隐藏状态进行推理纠错可能行不通。原文
13:02Dario Amodei Blog(资讯)Dario Amodei是Anthropic的CEO,曾领导OpenAI开发GPT-2和GPT-3,并共同发明了基于人类反馈的强化学习(RLHF)。他倡导构建可操控、可解释且安全的AI系统,近年来就AI透明度、出口管制等议题发表多篇观点文章。其个人主页汇集了技术论文、公开演讲和访谈,反映了他在AI安全与治理领域的持续影响力。对于行业而言,这表明顶尖AI人才仍在推动安全优先的研发方向。行业AI安全可解释性AnthropicRLHF出口管制10 个信源在谈推荐理由:Dario Amodei作为Anthropic的领导者,其观点直接影响AI安全与可解释性领域的讨论,对于关注长期AI治理的从业者具有参考价值。原文
11:44arXiv cs.LG(学术论文)研究者提出了一种名为Susceptibilities的技术,用于深度强化学习中神经网络的可解释性分析。该方法通过研究损失扰动对观测值后验期望的影响,扩展到RL的遗憾(regret)设置中。在简单的网格世界模型中,Susceptibilities能够揭示参数空间内模型发展的内部特征,而这些特征通过单纯学习策略发展无法检测。验证实验使用激活引导(activation-steering)证实了结果,并讨论了该方法扩展到RLHF后训练的可能性。这一工作为理解RL智能体的行为和学习过程提供了新的分析工具。论文强化学习可解释性神经网络RLHF推荐理由:对强化学习研究者有参考价值,提供了超越传统策略分析的模型内部状态洞察方法,尤其可用于分析RLHF训练中的阶段变化。原文