Backward

Backward（反向传播，backward pass）是神经网络训练中从输出层向输入层逐层计算梯度误差的核心环节，与 forward（前向）过程相对应，直接决定了模型的训练效率与显存占用。围绕 backward 的研究热点集中在三方面：如何让梯度计算更省资源、如何寻找生物学上更合理的替代机制，以及如何用“向后重构”的思路评估模型能力。

Backward 近期进展

研究发现近似 SGD 的生物学可行机制，bio-backprop 无需硬编码：一项研究提出在大脑权重与神经活动两方面都具生物学可行性的机制，其行为近似 SGD 的自连接规则，无需硬编码即逼近标准的 backward 梯度更新，引发了对“大脑反向传播之谜”的新讨论。

FunBCS：输入空间优化求解稀疏观测 PDE 反问题，误差降低 27-64%：在反问题求解中引入输入空间优化，相比基线将误差降低 27-64%，展示了“从输出反推输入”这一 backward 式思想在科学计算中的应用空间。

BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction：提出通过 backward reconstruction（向后重构）来评估模型的科学弱信号预测能力，为衡量大模型在科研场景下的前瞻性提供了新基准。

Backward Compatibility in Zero-Bit Neural Audio Watermarking：在零比特神经音频水印中探讨向后兼容问题，说明 backward compatibility 作为工程约束已渗透到模型水印等新兴场景。

当前焦点与观察点

目前 backward 讨论的核心争议在于：标准反向传播被认为是“生物学不可行”的，而 bio-backprop 等替代方案能否在性能上真正逼近 SGD 仍有待大规模验证。另一条主线是工程效率——随着模型规模扩大，backward pass 的显存与通信开销成为训练瓶颈，激活重计算、内核融合（如社区围绕 Triton 注意力内核的优化尝试）等手段都在试图压缩 backward 成本。此外，

Overview

Backward 近期进展

当前焦点与观察点

Coverage