11:03arXiv cs.LG@Semih Kara, Oğuzhan Ersoy精选该研究探讨了自蒸馏中上下文设计的关键作用,通过训练求解器接收冻结批评者的反馈,比较了三种条件:二元奖励、参考解决方案和步骤对齐批评。步骤对齐批评在Avg@12指标上比GRPO高出16.11分,比参考解决方案条件高出5.27分。分析表明,步骤对齐反馈仅针对推理失败的token,保留正确行为,而参考解决方案迫使模型在每个token上改变行为,导致效率降低。研究揭示了反馈与求解器推理的结构对齐是自蒸馏有效性的关键驱动因素。论文自蒸馏反馈对齐推理模型GRPO批评者推荐理由:做自蒸馏或强化学习的研究者会发现,步骤对齐反馈比传统奖励信号更高效,直接提升模型推理质量,值得在实验中尝试这种上下文设计。原文
10:38arXiv cs.LG@Gauthier Boeshertz, Razvan Pascanu, Claudia Clopath反向传播(BP)因需要反馈权重与前向权重的转置一致而被认为生物上不可信。反馈对齐(FA)使用固定随机反馈权重来规避此问题,但在深层架构中效果不佳。研究发现FA误差的有效秩远低于BP,限制了参数空间的探索。通过使用Muon优化器正交化权重更新和隐藏活动归一化促进激活正交性,可提高FA的有效维度。在CIFAR100和ResNet-18上,这些方法将准确率提升了9个百分点。论文反馈对齐秩坍缩Muon优化器正交化深度学习推荐理由:这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学,并给出了可落地的解决方案(Muon+归一化)。做生物启发学习或替代反向传播研究的团队值得关注,实验方法可以直接复现。原文