想搞异步RLHF训练的可以看这篇，把陈旧rollout对学习率的影响定量化了，推导了缩放条件，比经验调参更靠谱。
该论文研究异步GRPO（群体相对策略优化）中陈旧rollout对策略优化的影响。作者将行为策略显式纳入GRPO替代目标，并区分学习器使用的替代梯度映射与依赖分布的总体目标的真实全导数。在局部有界性、分布平滑性和行为策略平滑性假设下，证明陈旧rollout引入的每步替代梯度偏差为O(S * eta)，其中S是最大rollout滞后，eta是学习率。进一步导出条件性崩溃时间缩放定律：当周期内漂移低于批量级裁剪半径时，崩溃主要由累积学习器漂移T * eta决定；当陈旧rollout约束激活时，稳定性显式依赖于S * eta。从而得到双约束稳定性条件eta << min{R_batch/(S*G_upd), R_crit/(T*G_upd)}，解释了在有限时间范围内最大稳定学习率对陈旧性依赖较弱的原因。
该论文研究异步GRPO（群体相对策略优化）中陈旧rollout对策略优化的影响。作者将行为策略显式纳入GRPO替代目标，并区分学习器使用的替代梯度映射与依赖分布的总体目标的真实全导数。在局部有界性、分布平滑性和行为策略平滑性假设下，证明陈旧rollout引入的每步替代梯度偏差为O(S * eta)，其中S是最大rollout滞后，eta是学习率。进一步导出条件性崩溃时间缩放定律：当周期内漂移低于批量级裁剪半径时，崩溃主要由累积学习器漂移T * eta决定；当陈旧rollout约束激活时，稳定性显式依赖于S * eta。从而得到双约束稳定性条件eta << min{R_batch/(S*G_upd), R_crit/(T*G_upd)}，解释了在有限时间范围内最大稳定学习率对陈旧性依赖较弱的原因。
High-throughput RLHF systems often decouple rollout generation from policy optimization, leading to the use of stale rollouts during learner updates. In this work, we study the effect of such staleness in asynchronous GR…