Anthropic: Transformer Circuits(资讯)85Anthropic 发布了一项关于 Claude 3.5 Haiku 内部机制的研究,将其类比为生物学研究。他们通过构建“归因图”来追踪模型在多种任务中的推理路径,发现模型内部存在类似生物体的模块化结构和功能分工。这项研究揭示了大型语言模型如何从输入到输出逐步构建理解,例如在数学推理中,模型会先识别问题类型,再调用特定计算模块。该工作为理解 AI 黑箱提供了新视角,有助于提升模型的可解释性和安全性。论文可解释性归因图Claude 3.5 Haiku模型内部机制Anthropic推荐理由:Anthropic 把模型内部机制当生物系统来研究,做 AI 可解释性的人会看到新方法论,关心模型安全性的团队值得关注。