#PPO

这篇用有解析解的金融博弈当考卷，发现 PPO 奖励给对了也学不准，问题出在 critic 排序动作的能力上，对做 RL 金融应用的人很有参考价值。

一篇把 LLM 强化学习里 credit assignment 讲清楚的论文，PACT 训练后在数学推理上比 GRPO 高 8.8 个点，搞 RL 后训练的值得看看推导。

训练LLM做推理的看这篇：InfoPPO把RL时间步从token数换成信息密度，Qwen3数学基准五项全升，比PPO稳。

这篇论文把电车难题做成了奖励函数，用200个碰撞场景让AI学真实偏好，结果还挺反直觉。

卫星避碰现在靠人工和规则，越来越难。这篇用PPO强化学习，在模拟里成功率97.5%，比传统方法高出一大截，代码还开源了。

这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

这篇论文提出了一种更聪明的掩码方法，解决了PPO和DPPO在方向判断上的不一致，让LLM强化学习训练更稳定高效。

这篇论文教你怎么用更少的反馈数据训练扩散模型，关键是把去噪步和样本按重要性加权，实验涨了6倍效率。

这篇论文用强化学习让风电场数据中心更省电，在单机场景下比较了PPO和SAC的效果，还试了模仿学习和奖励塑造。

这篇论文对比了四种强化学习奖励函数在抵御网络攻击时的表现，发现Lyapunov奖励弹性最好，PPO比DDPG方差更低，做控制器设计可以拿来参考。

这篇论文把PPO用到了GFlowNet上，收敛更快、数据效率更高，做离散采样研究的可以看看。

做LLM强化学习训练的团队终于有了一个能省算力又提效果的方法——ESPO在数学推理任务上不仅性能更好，还省了20%的token，训练成本敏感的团队值得一试。