AITOP

5月13日

21:35

Anthropic: Transformer Circuits（资讯）

30

Anthropic 的 Transformer Circuits 团队发布了一篇技术笔记，探讨如何利用字典学习（Dictionary Learning）提取的稀疏特征来构建有害内容分类器。研究发现，基于这些特征训练的分类器在检测有害性上优于直接使用模型原始激活值的分类器，且更具可解释性。这项工作为构建更安全、更可控的 AI 系统提供了新思路，尤其适用于需要细粒度内容审核的场景。

论文字典学习特征分类器 AI安全可解释性 Anthropic

推荐理由：做 AI 安全和对齐的团队可以关注——字典学习特征让分类器更准更可解释，比直接用原始激活值靠谱，值得在内容审核场景里试试。

21:35

Anthropic: Transformer Circuits（资讯）

40

Transformer Circuits 团队发布了 2025 年 1 月的更新，重点介绍了字典学习（dictionary learning）的多种优化技术。这些技术旨在提高模型可解释性，通过更高效地分解神经网络激活值来理解内部机制。更新包括新的训练技巧、稀疏性控制方法以及计算效率改进，有助于研究人员更深入地分析 transformer 模型的行为。这对于推动 AI 安全性和透明度具有重要意义，尤其适合从事可解释性研究的团队。

论文字典学习模型可解释性 Transformer Circuits 优化技术 AI 安全

推荐理由：字典学习是理解大模型内部机制的关键工具，这些优化技术能显著提升分析效率。做 AI 可解释性研究的团队值得关注，可以直接参考这些方法改进自己的实验。