10:38arXiv cs.LG@Gauthier Boeshertz, Razvan Pascanu, Claudia Clopath反向传播(BP)因需要反馈权重与前向权重的转置一致而被认为生物上不可信。反馈对齐(FA)使用固定随机反馈权重来规避此问题,但在深层架构中效果不佳。研究发现FA误差的有效秩远低于BP,限制了参数空间的探索。通过使用Muon优化器正交化权重更新和隐藏活动归一化促进激活正交性,可提高FA的有效维度。在CIFAR100和ResNet-18上,这些方法将准确率提升了9个百分点。论文反馈对齐秩坍缩Muon优化器正交化深度学习推荐理由:这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学,并给出了可落地的解决方案(Muon+归一化)。做生物启发学习或替代反向传播研究的团队值得关注,实验方法可以直接复现。原文