#稀疏自编码器
这篇论文展示了如何利用稀疏自编码器在ν中微子基础模型中寻找可解释的潜在表示,这对于理解模型的内部工作原理和设计下游任务非常有帮助。与传统的方向头相比,这种新的不确定性头在预测角重建误差方面表现出色。
这篇论文用FEGA方法分析了稀疏自编码器特征的下游几何,发现大多数特征不是单方向,value-like和pointer-like特征效果不同,对理解模型可解释性很有启发。
这篇论文为LLM控制领域拨乱反正——做模型可解释性、安全对齐或行为调控的团队,值得重新审视稀疏自编码器的潜力,建议点开看看如何用标签修正提升控制效果。
做表征对齐、多模态学习或可解释性研究的团队,这篇论文把概念对齐的混乱局面理清了——CoSAE 用极少量配对数据就能实现强对齐,值得直接复现试试。
这篇论文戳破了Archetypal SAEs稳定性神话,做可解释性研究的团队需要重新审视自己的评估方法——别被初始化技巧骗了,建议点开看轨迹诊断和消融实验怎么做。
做LLM后训练数据工程的团队终于有了从模型内部获取信号的方法——SAERL用SAE直接指导数据排序和过滤,比依赖外部信号更高效,做RL训练优化的开发者值得一试。
做可解释性研究的团队会发现,你依赖的 SAE 评估指标可能不可靠——TPP 和 SCR 已被证伪,建议改用 sae-probes 并关注新基准的进展。
做机器人VLA策略可解释性的研究者终于有了一个行为锚定的分析框架——事件锚定SAE直接关联动作与行为事件,比纯文本分析更贴近闭环控制,建议做机器人学习或可解释AI的团队点开看看。
Anthropic 的可解释性团队持续输出硬核研究,做 AI 安全或模型调试的开发者值得跟进——继任头和 SAE 过采样是理解 Transformer 内部机制的关键拼图。
做 AI 可解释性研究的人会直接受益——这篇论文揭示了 transcoder 可能产生虚假特征的根本原因,看完会对现有方法的可靠性有更清醒的认识。建议所有用稀疏自编码器做模型分析的人点开。