AITOP

PPO

共 10 条相关 AI 资讯
8月18日
10:14
10:14官方账号arXiv cs.LG@Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi
该论文提出伦理决策头（EDH），在CARLA仿真环境中用深度强化学习训练自动驾驶汽车的道德决策。模型通过PPO算法优化，奖励函数来自Bradley-Terry模型，基于200个碰撞临近场景的人工偏好标注。结果显示康德式规则条件训练稳定，但功利主义模型学到的是人类评分者更偏好自我牺牲，而非真正最小化伤亡。论文据此认为RLHF学到的不是哲学家定义的伦理，而是人类实际偏好的行为模式。
论文自动驾驶RLHFPPO
推荐理由：这篇论文把电车难题做成了奖励函数，用200个碰撞场景让AI学真实偏好，结果还挺反直觉。
原文
8月11日
10:53
10:53官方账号arXiv cs.LG@Logan Luna, Juan Ortiz Couder, Raul Alejandro Vargas-Acosta
研究者提出用近端策略优化（PPO）训练强化学习智能体，实现卫星自主避碰。在1000次确定性GEO场景中，智能体避障成功率达97.5%，远超基于规则基线（20.7%）和脉冲delta-v规划器（27.5%）。训练使用开源高保真天体动力学模拟器，包含日月三体摄动、燃料依赖推力及可配置碎片场。采用课程学习和塑形奖励，兼顾生存、投影距离和delta-v节省。框架已公开，代码见purl.org/sat-trajectory-avoidance。
论文PPO强化学习卫星避障
推荐理由：卫星避碰现在靠人工和规则，越来越难。这篇用PPO强化学习，在模拟里成功率97.5%，比传统方法高出一大截，代码还开源了。
原文
7月21日
11:55
11:55官方账号arXiv cs.LG@Chinmay Rane, Kanishka Tyagi, Michael Manry
本文提出Output Reset(OR)作为PPO和GRPO中裁剪替代目标的平滑替代方案，使用OR平方边际损失在token对数比率空间进行优化。在Llama-3.2-1B-Instruct模型上基于Anthropic hh-rlhf数据集测试，PPO-OR在广义优势估计下最终奖励模型得分比PPO-clip平均高0.305，但seed间方差更大。GRPO-OR在组相对优势下平均得分未提升，但方差更小且过冲分数下降。两种组相对方法均比GAE方法产生更大的rollout到当前对数比率位移，OR未能一致减少此位移。报告分数为训练时奖励模型测量值，非独立人类偏好表现。
论文ORPPOGRPO
事件专题
推荐理由：这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学
原文
7月14日
09:23
09:23官方账号arXiv cs.LG@Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang
PPO通常使用采样标记重要性比率来稳定LLM强化学习的离策略更新，包括邻近准则和方向准则。DPPO改进了邻近准则但方向准则仍继承自PPO，其基于重要性比率的方向可能与散度变化不一致。本文提出预测性分歧掩码，通过闭式解预测策略梯度步骤对同一散度的影响，并针对生产环境中的Top-K词汇开发了两种轻量估计器。实验表明，该方法在多个模型尺度和精度设定下提升了RL训练效果。
论文LLMPPODPPO
推荐理由：这篇论文提出了一种更聪明的掩码方法，解决了PPO和DPPO在方向判断上的不一致，让LLM强化学习训练更稳定高效。
原文
7月9日
10:14
6月30日
11:20
11:20官方账号arXiv cs.LG@Jan Stenner, Alexander Kilian, Sebastian Peitz, Hermann de Meer
该论文研究了强化学习作为在线控制器，用于风电场内数据中心的高性能计算（HPC）工作负载转移。使用固定日仿真框架结合合成风能和电价信号以及延迟完成反馈进行测试。在单个风轮机和单个数据中心的基准场景中，纯强化学习存在信用分配问题，早期白天未能充分利用免费风能。评估了两种互补措施：基于优化的模仿学习和基于势能的奖励塑造。在200天测试集上，PPO和SAC变体表现出色，但性能仍低于具有全局视野的优化器。
论文强化学习数据中心风电场
推荐理由：这篇论文用强化学习让风电场数据中心更省电，在单机场景下比较了PPO和SAC的效果，还试了模仿学习和奖励塑造。
原文
6月18日
10:03
10:03官方账号arXiv cs.LG@Hugo O. Garcés, Alejandro J. Rojas, Bernardo A. Hernández, Andrés Escalona, Jonathan M. Palma, Md. Rezwan Parvez, Bhushan Gopaluni, Sirish L. Shah
该论文在非线性系统上比较了无模型控制器在虚假数据注入和拒绝服务攻击下的性能，分析了四种RL奖励类型（Lyapunov、指数、渐进、线性）的准确率、成本和弹性。结果显示Lyapunov奖励以低跟踪误差实现了最佳弹性，指数模式在中等训练条件下提供良好折衷，渐进和线性奖励收敛更快但鲁棒性较差。RL-MPC模型表现出强稳态弹性但需更长训练时间，RL-PID控制器训练时间显著缩短。PPO相比DDPG显著降低了KPI方差。
论文PPODDPGLyapunov奖励
推荐理由：这篇论文对比了四种强化学习奖励函数在抵御网络攻击时的表现，发现Lyapunov奖励弹性最好，PPO比DDPG方差更低，做控制器设计可以拿来参考。
原文
6月16日
10:36
5月29日
13:01
13:01官方一手arXiv: DeepSeek@Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye
72°
ESPO（Early-Stopping Proximal Policy Optimization）是一种针对大语言模型强化学习训练的新方法，能在推理轨迹中早期检测到错误步骤并提前终止生成。传统PPO算法在模型犯错后仍会强制生成直到最大步长，浪费计算资源并污染优势估计。ESPO通过实时计算基于logits的代理遗憾值，在累积遗憾显著超过估计值时终止轨迹，并将截断轨迹视为吸收失败状态，无需额外奖励模型或人工标注。在DeepSeek-R1-Distill-Qwen-7B的数学推理训练中，ESPO在AIME 2024、AMC 2023和MATH-500上均超越PPO，同时累计节省超过20%的生成token。
论文强化学习PPO数学推理
推荐理由：做LLM强化学习训练的团队终于有了一个能省算力又提效果的方法——ESPO在数学推理任务上不仅性能更好，还省了20%的token，训练成本敏感的团队值得一试。
原文
5月20日
10:51
10:51官方一手arXiv: DeepSeek@Ali Mohammadi Esfahani, Nafiseh Kahani, Samuel A. Ajila
精选
研究人员提出一个基于强化学习的框架，将提示词优化建模为序列决策问题。PPO代理通过混合动作空间（直接生成、遗传变异、语义重写）迭代改进提示词，并利用单元测试反馈的奖励信号驱动优化。在MBPP+、HumanEval+和APPS基准上，使用CodeT5+、CodeLLaMA和DeepSeek-Coder作为冻结代码生成器，PPO代理在MBPP+的500任务测试集上分别达到57.58%、64.80%和85.50%的严格Pass@1，优于EPiC、Reflexion和随机混合方法。软Pass@1分别达到67.90%、73.10%和88.20%。结果表明，带形状奖励的强化学习能显著提升LLM代码生成的功能正确性。
论文提示词优化强化学习代码生成
推荐理由：做LLM代码生成或提示词工程的开发者，这个框架直接解决了提示词敏感性问题——用RL自动优化提示词，比手动调参高效得多，建议关注其混合动作空间和奖励设计。
原文