Gradient（梯度）是机器学习中表示损失函数相对于模型参数变化率的核心概念，也是几乎所有深度神经网络训练算法的数学基础。无论是前馈网络的随机梯度下降，还是强化学习中的策略梯度方法，梯度都决定了模型参数在每一次迭代中朝哪个方向、以多大幅度更新。围绕梯度的估计质量、方差控制和方向修正，构成了当前优化研究的持续热点。
Gradient 相关研究的近期进展
当前焦点与观察点
从近期论文分布看，gradient 相关研究呈现三个明显方向。其一是梯度估计的方差与偏差控制：无论 ExGrad 对干净梯度的显式扣除，还是 Defensive Policy Gradient 对重要性权重方差假设的放宽，都在回应同一个问题——不精确的梯度信号如何在理论上可控行地用于更新。
其二是梯度优化从训练走向推理。G2MAF 这类工作把梯度引导应用于测试时适配，说明梯度不再只是反向传播的训练工具，也开始作为推理阶段的搜索与修正信号。这与 test-time compute 扩展的整体趋势相一致。
其三是基于梯度或分数的生成与采样方法。Score-Calibrated Flow 显示，score-based 方法正与流模型等生成框架交叉融合，减少对重要性采样等高方差技术的依赖。
值得观察的点包括：这些方法在多智能体和强化学习场景中能否稳定超越一阶基线；测试时梯度优化带来的额外计算开销是否在大规模部署中可接受；以及理论上的采样复杂度改进能否转化为实际训练效率的提升。总体而言，梯度作为训练的基石并未被取代，反而其估计与应用方式正在被更精细地拆解和重构。