#策略优化

PPO-HRAP算法通过混合策略优化，在控制风险的同时提升交易回报，特别适合波动市场环境。

新提出的FERPO算法解决了传统强化学习中critic值预测不准确的问题，在连续控制任务中表现优异。

新发布的RoVR-GSPO优化器解决了奖励和序列权重敏感问题，在多个任务上超越GSPO，对异常值更鲁棒。

这篇论文提出STAR-GRPO算法，能有效解决奖励黑客问题，在两个不同场景下都表现出色。

这篇论文把OPSD的隐式β变成可控参数，用蒸馏近似强化学习，数学推理上比原版更稳更强。

这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

做智能体强化学习的团队终于有了一个能自动积累可复用策略的框架——ReSkill 让技能创建和策略优化不再打架，直接提升泛化能力，做 RL 和 LLM 智能体的研究者值得细读。

该工作针对GRPO在LLM数学推理中的实际瓶颈提出两项轻量改进，AKL与GCS模块即插即用，实验验证显著提升pass@32指标，对强化学习训练策略的优化具有直接指导意义。