11:50
官方账号arXiv cs.LG@Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi
推荐理由：想搞异步RLHF训练的可以看这篇，把陈旧rollout对学习率的影响定量化了，推导了缩放条件，比经验调参更靠谱。
异步训练
共 2 条相关 AI 资讯
7月2日
11:50
该论文研究异步GRPO（群体相对策略优化）中陈旧rollout对策略优化的影响。作者将行为策略显式纳入GRPO替代目标，并区分学习器使用的替代梯度映射与依赖分布的总体目标的真实全导数。在局部有界性、分布平滑性和行为策略平滑性假设下，证明陈旧rollout引入的每步替代梯度偏差为O(S * eta)，其中S是最大rollout滞后，eta是学习率。进一步导出条件性崩溃时间缩放定律：当周期内漂移低于批量级裁剪半径时，崩溃主要由累积学习器漂移T * eta决定；当陈旧rollout约束激活时，稳定性显式依赖于S * eta。从而得到双约束稳定性条件eta << min{R_batch/(S*G_upd), R_crit/(T*G_upd)}，解释了在有限时间范围内最大稳定学习率对陈旧性依赖较弱的原因。
5月19日
11:05
11:05
官方账号arXiv cs.LG@Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik
精选
推荐理由：分布式训练团队终于有了异步 LMO 方法的理论保障——Ringmaster LMO 解决了异构集群中慢节点拖累效率的问题，做大规模预训练或异构系统优化的开发者值得关注。