11:58
官方账号arXiv cs.LG@Chuanhao Yan, Xuhan Huang, Yawen Duan, Zhenfei Yin, Hang Zhao, Bryan Dai, Jie Fu
推荐理由：SWD用不到1%数据就能达到Transcoder的保真，GPT-2、Qwen2.5都能跑。
SWD
共 1 条相关 AI 资讯
8月5日
11:58
论文提出稀疏权重分解（SWD），将预训练模型的每个权重矩阵分解为两个稀疏因子，中间坐标作为可寻址电路单元。SWD不需要训练替代网络，在单矩阵替换实验中以不到基线1%的数据量达到与Transcoder等持平的保真度。在GPT-2、Qwen2.5和Qwen3.5-27B上，SWD用更少的读写边和选中单元达到相同电路充分性与必要性目标。SWD还支持微调后全模型替换，并提供零数据变体用于逐步机制可解释性分析。