精选理由
做 AI 可解释性研究的团队终于有了一个能看清模型内部推理步骤的方法——Circuit Tracing 把黑箱计算拆成了可追踪的图结构，建议关注模型安全的研究者点开看看。
Anthropic 团队提出了一种名为 Circuit Tracing 的方法，能够追踪语言模型在处理单个提示时的“逐步”计算过程。该方法通过构建归因图（attribution graphs），将模型内部的复杂计算分解为可解释的步骤。这项技术有助于理解模型如何从输入到输出进行推理，为模型的可解释性和安全性研究提供了新工具。论文详细介绍了方法原理和实验验证，展示了在多个模型上的应用效果。
AI 翻译 · 中文
Anthropic 团队提出了一种名为 Circuit Tracing 的方法，能够追踪语言模型在处理单个提示时的“逐步”计算过程。该方法通过构建归因图（attribution graphs），将模型内部的复杂计算分解为可解释的步骤。这项技术有助于理解模型如何从输入到输出进行推理，为模型的可解释性和安全性研究提供了新工具。论文详细介绍了方法原理和实验验证，展示了在多个模型上的应用效果。
- Dario Amodei Blog05-11 05:02原文