REINFORCE 是强化学习中最经典的策略梯度算法，由 Williams 提出，核心思想是直接对采样到的轨迹回报做梯度上升来更新策略，是当今大模型 RLHF、推理训练等许多方法的源头。虽然实现简单，但它的方差大、样本效率低，围绕如何降低方差、去掉不现实假设的研究一直活跃，近期多项工作正在重新审视这一老算法的理论基础。
REINFORCE 相关的近期研究进展
REINFORCE 当前的焦点与观察点
当前的讨论主要集中在两方面：一是理论层面，研究者开始检查经典策略梯度分析中被默认的方差假设是否成立，并尝试在更弱假设下重新推导样本复杂度；二是应用层面，随着大模型 RL 训练成为主流，如何让 REINFORCE 及其变体（如 PPO、GRPO 等去掉部分组件的简化版本）在长序列、稀疏奖励下保持稳定，是工程实践中的核心难题。另一个值得关注的信号是，评价体系本身也在被反思——有观点指出仅凭问答得分可能掩盖训练管线中的故障，这意味着改进算法的同时，评测口径也需要同步演进。总体来看，这个诞生三十余年的算法并未过时，反而在大模型时代因简单、可扩展而重新成为基线方法，理论与应用两条线的进展值得持续跟踪。