Chinese contentLGPO:去掉重要性比率,也能稳定训练 LLM 强化学习
做 RL 后训练的值得看:LGPO 用似然门控替掉 GRPO 里重复算 old-policy 似然那步,训练时间少约 18%,全 on-policy 时 GRPO 会崩它还稳着。省显存又省算力,自己跑 RL 的团队可以直接对照论文改实现。
做 RL 后训练的值得看:LGPO 用似然门控替掉 GRPO 里重复算 old-policy 似然那步,训练时间少约 18%,全 on-policy 时 GRPO 会崩它还稳着。省显存又省算力,自己跑 RL 的团队可以直接对照论文改实现。