精选理由
质疑CC模型的叠加假设
论文研究Braun等人2025年提出的压缩计算（CC）玩具模型。该模型用50个神经元计算100个ReLU函数，但作者发现性能提升来自输入混合而非叠加计算。训练目标分为ReLU项和混合项，增益随混合矩阵幅度增大而消失。学习到的神经元方向集中在混合矩阵前50个特征值对应的子空间。基于混合矩阵的SNMF基线能复现损失轮廓，但未完全匹配训练模型。
AI 翻译 · 中文
论文研究Braun等人2025年提出的压缩计算（CC）玩具模型。该模型用50个神经元计算100个ReLU函数，但作者发现性能提升来自输入混合而非叠加计算。训练目标分为ReLU项和混合项，增益随混合矩阵幅度增大而消失。学习到的神经元方向集中在混合矩阵前50个特征值对应的子空间。基于混合矩阵的SNMF基线能复现损失轮廓，但未完全匹配训练模型。
We study whether the Compressed Computation (CC) toy model (Braun et al., 2025) is an instance of computation in superposition. The CC model appears to compute 100 ReLU functions with just 50 neurons, achieving a better …