13:45
arXiv cs.AI@Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian
推荐理由：这篇论文发现了SAE解释模型时的两个大坑——特征分裂和吸收，然后用C^2R正则化给治好了，代码开源，直接上手试试。
全部 AI 动态
AI 相关资讯全量信息流
6月30日
13:45
稀疏自编码器（SAE）常用于解释大语言模型，但扩展到大规模字典时会出现特征分裂（将连贯概念拆分为非原子潜在变量）和特征吸收（在通用特征中创建任意例外）问题。这些问题源于不同样本间的潜在变量分配不一致。C^2R方法通过惩罚批量中方向相似潜在变量的共激活，显式鼓励每个语义特征由统一潜在变量表示。评估显示C^2R有效缓解分裂和吸收，同时保持重建保真度，代码已在GitHub开源。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07