Anthropic 发布注意力机制研究进展

Anthropic 在 Transformer Circuits 博客上发布了关于注意力机制的最新研究进展。文章深入分析了注意力头在模型中的具体行为，包括如何聚焦于特定 token、如何形成注意力模式，以及这些模式如何影响模型的推理和生成能力。研究发现注意力机制中存在可解释的结构，有助于理解模型内部运作。这项工作对提升 AI 安全性和可解释性具有重要意义。