精选理由
这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学，并给出了可落地的解决方案（Muon+归一化）。做生物启发学习或替代反向传播研究的团队值得关注，实验方法可以直接复现。
反向传播（BP）因需要反馈权重与前向权重的转置一致而被认为生物上不可信。反馈对齐（FA）使用固定随机反馈权重来规避此问题，但在深层架构中效果不佳。研究发现FA误差的有效秩远低于BP，限制了参数空间的探索。通过使用Muon优化器正交化权重更新和隐藏活动归一化促进激活正交性，可提高FA的有效维度。在CIFAR100和ResNet-18上，这些方法将准确率提升了9个百分点。
AI 翻译 · 中文
反向传播（BP）因需要反馈权重与前向权重的转置一致而被认为生物上不可信。反馈对齐（FA）使用固定随机反馈权重来规避此问题，但在深层架构中效果不佳。研究发现FA误差的有效秩远低于BP，限制了参数空间的探索。通过使用Muon优化器正交化权重更新和隐藏活动归一化促进激活正交性，可提高FA的有效维度。在CIFAR100和ResNet-18上，这些方法将准确率提升了9个百分点。
Backpropagation (BP) is widely viewed as biologically implausible, in part because it requires feedback weights to be the transpose of forward weights for error propagation. Interestingly, when training a network with fi…