10:40arXiv cs.LG@Nathanaël Jacquier, Maria Vakalopoulou, Mahdi S. Hosseini这篇论文提出两种可与Top-k稀疏自编码器架构兼容的稀疏正则化方法:对未选中单元的L1惩罚和尺度不变的L1/L2比率惩罚。在2个数据集、3个视觉基础模型和多种k值下,两种正则化均一致改善单语义性而不降低重构质量。L1/L2惩罚进一步将信息集中到更少潜在单元中,使重构对推理时k的选择更具鲁棒性,并提升小预算线性探测性能。核心发现是硬性架构稀疏性与软性稀疏正则化互补而非互斥。论文Top-k SAE稀疏自编码器可解释性视觉基础模型正则化推荐理由:这篇论文给Top-k稀疏自编码器加了两种正则化方法,能让模型更可解释而且重构质量不降,值得做可解释性的人看看。原文