#DPPO

这篇论文提出了一种针对大型语言模型训练中评论家不稳定性的解决方案，结合多种优化方法，效果显著，值得一看。

这篇论文提出了一种更聪明的掩码方法，解决了PPO和DPPO在方向判断上的不一致，让LLM强化学习训练更稳定高效。