机械可解释性相关 AI 资讯 · AI 热点

7月11日

03:00

03:00

官方账号Google DeepMind@GoogleDeepMind

Google DeepMind发布新一期播客，由主持人@fryrsquared与研究员Neel Nanda探讨可解释性。内容涵盖机械可解释性（Mechanistic Interpretability）的基本概念，提及思维链监控（Chain of Thought Monitoring）如何揭示模型推理过程。播客还介绍了使用可解释性技术审计模型安全性的方法，并讨论了该领域的未来方向。

行业 Google DeepMind 思维链可解释性模型安全机械可解释性

推荐理由：想知道AI模型是怎么思考的吗？DeepMind播客请来专家Neel Nanda，从思维链聊到安全审计，全是硬核干货。

7月1日

11:05

11:05

官方账号arXiv cs.LG@Philippe Chlenski, Zachariah Carmichael, Ayush Warikoo, Chia-Tse Shao, Yingxiao Ye, Aobo Yang, Vivek Miglani, Nehal Bandi

该论文研究使用开放语言模型（如Llama、Qwen）解释封闭API模型（如GPT、Gemini）时的可靠性问题。在11个模型上的实验表明，预测层面的保真度（log-odds一致性）远高于归因层面的保真度（leave-one-out重要性）。存在访问-效度反转：白盒信号（如注意力模式）虽稳定但无法预测因果归因，而黑盒输入消融能直接捕捉归因。论文警告，仅凭预测一致性不足以证明机械可解释性可从开放模型迁移到封闭模型。

论文 Llama Qwen GPT Gemini 机械可解释性

推荐理由：想用开源模型解释GPT？这篇论文告诉你预测一致不代表归因一致，小心踩坑。

6月16日

11:06

11:06

官方账号arXiv cs.LG@Frank Zhengqing Wu, Francesco Tonin, Volkan Cevher

电路发现是机械可解释性中的关键技术，用于定位执行特定任务的关键模型组件。现有最先进方法EAP-IG在忠信度指标上表现良好，但存在三种方差：重采样方差（用同分布新数据探测时电路变化）、重述方差（提示重新措辞时电路偏移）和样本级方差（低总体不忠信度的电路在单个样本上大幅波动）。本文提出的CEAP方法基于理论保证，能显著减少重采样方差。研究还表明，重述方差源于不同模板激活不同电路，暗示LLM可能本质难以控制。样本级方差主要良性，极差的不忠信度分数常由定义方式或选择性贡献缩放机制导致。

论文 LLM 电路发现机械可解释性 EAP-IG CEAP

推荐理由：这篇论文把电路发现中的方差问题讲透了，还提出了带理论保证的CEAP方法，能减少重采样方差，值得看。

5月11日

11:44

11:44官方账号arXiv cs.AI（学术论文）

该论文指出，在机械可解释性研究中，越来越多使用因果词汇（如电路、中介、因果抽象等），但缺乏明确的识别假设。作者对四种方法学流派的10篇论文进行审计，发现没有专门的识别假设部分，验证指标（如忠实度、完整性等）常被当作因果证据，而未说明其识别假设。两名人工编码员对30篇论文的审计重现了主要发现：缺少专门的识别假设部分，验证指标替代普遍存在。论文提议披露规范：声明是否为因果主张、命名识别策略、列举假设、强调至少一个假设，并说明假设失败时结论如何变化，强调验证不等于识别。

论文机械可解释性因果识别方法论审计 AI安全

推荐理由：该研究为可解释性领域提供了方法论反思，提醒研究者注意因果主张的严谨性，避免用验证指标替代因果识别。