11:10arXiv cs.LG@Jai Bhagat, Sara Molas-Medina, Giorgi Giglemiani, Stefan Heimersheim论文研究Braun等人2025年提出的压缩计算(CC)玩具模型。该模型用50个神经元计算100个ReLU函数,但作者发现性能提升来自输入混合而非叠加计算。训练目标分为ReLU项和混合项,增益随混合矩阵幅度增大而消失。学习到的神经元方向集中在混合矩阵前50个特征值对应的子空间。基于混合矩阵的SNMF基线能复现损失轮廓,但未完全匹配训练模型。论文CCSuperpositionSNMF叠加计算可解释性推荐理由:质疑CC模型的叠加假设原文