policy-gradient（策略梯度）是强化学习中一类直接在参数化策略上做梯度上升、以最大化期望回报为目标的算法框架，REINFORCE、PPO 等主流方法都建立在这一思路之上。相比基于价值的方法，它省去了显式价值建模，但估计方差高、对基线与学习率敏感，长期是理论分析与工程调优的重点。
策略梯度近期进展
当前焦点与观察点
近期讨论沿三条线展开。理论上，收敛性与遗憾界分析正从平稳环境向扩散环境延伸，以贴近非平稳的现实任务；工程上，方差控制仍是主要瓶颈，动作依赖因子基线等改进在方差与偏差之间寻找平衡；路线之争则趋于缓和，策略梯度与软 Q 学习的等价性提供了统一视角。后续值得观察的是，这些理论成果能否转化为大规模训练中的实际样本效率增益。