#SAE

一篇 arXiv 论文，用实验证明 SAE 从 512 扩到 131,072 后特征稳定不分裂，做可解释性研究的可以看看。

有人拿 SAE 逐个对比 Mamba 和 Pythia 的内部特征，99.98% 几乎一样，做可解释性的可以看看。

这个基准测试了AI代理能否自主进行稀疏自编码器研究，发现代理能设计对比实验但常误解测量结果。

想搞懂SAE特征到底抽没抽到抽象概念？这篇提出FNL指标，不用LLM打分就能测抽象度，还能帮你挑干预特征，实测提分4.6。

这篇论文用SAE潜变量集做相似度度量，发现它并不比稠密嵌入更贴近人类概念判断，搞可解释性的人值得看看这个反直觉结论。

这篇论文用实验告诉你：看似能隐藏模型“知道自己在被测试”的输入优化，可能是假象——抑制CAA方向跟抑制随机方向没什么两样。

这篇论文用FEGA方法分析了稀疏自编码器特征的下游几何，发现大多数特征不是单方向，value-like和pointer-like特征效果不同，对理解模型可解释性很有启发。

这篇论文提出了Persistent SAE，让稀疏自编码器学出特征该持久多久，在解释和监控语言模型上更灵活，尤其长文本场景下效果明显。

这篇论文提出了CircuitLasso，能以更低成本达到和现有方法一样好的电路学习效果，还能揭示可解释的语义特征如何传播。