AITOP

分层强化学习

共 3 条相关 AI 资讯
7月28日
10:21
10:21官方账号arXiv cs.LG@Zahra Abdalla Elashaal, Afef Hfaiedh, Nahla Khraief, Issmail Ellabib, Giansalvo Cirrincione
论文提出一种两层分层强化学习（HRL）框架，高层负责策略规划，底层采用连续控制算法Soft Actor-Critic（SAC），并通过熵正则化策略优化。该框架在Search-and-Rescue-2（SAR-2）数据集上训练和评估。HRL-SAC在成功率、覆盖效率和收敛速度上均优于普通SAC基线，有效解决延迟奖励和连续控制问题。实验表明分层熵正则化策略是处理长视野稀疏奖励任务的有前景方案。
论文Hierarchical Soft Actor-CriticSACSAR-2
推荐理由：这篇论文教你用分层SAC解决稀疏奖励的长期任务，比普通SAC成功率更高，代码已开源。
原文
7月22日
11:34
11:34官方账号arXiv cs.LG@Kshitij Kumar Srivastava, Kshitij Jerath
该论文提出S3方法，在分层强化学习（HRL）中引入基于粗粒度动力学（Coarse Dynamics）的内在动机，以稳定高层智能体的子目标选择。通过最小化由混合密度网络（MDN）建模的预测不确定性，该方法在长时域非平稳环境中引导高层策略。实验表明，这种稠密的内在奖励机制使子目标选择更倾向于风险规避，并在多个基准任务上超越现有SOTA HRL方法（如HIRO、HAC）。
论文分层强化学习子目标选择粗动力学
推荐理由：这篇论文给HRL的高层智能体装上了'风险雷达'，用粗动力学的不确定性来选子目标，比传统方法更稳更准，值得做强化学习的看看。
原文
6月23日
10:58
10:58官方账号arXiv cs.AI@Gregory Gorbov, Artem Latyshev, Aleksandr I. Panov
本研究提出Imagine方法，结合可学习世界模型与高层、低层两种互补策略，解决强化学习中的安全探索问题。高层策略生成中间子目标，引导探索偏向安全区域；低层策略利用世界模型的想象展开减少不安全行为。在长时域高维动作空间的导航和操作任务上，该方法在成功率和约束满足方面显著优于现有安全RL基线，一致满足预设安全预算。
论文分层强化学习安全探索世界模型
推荐理由：这篇论文提出用世界模型加分层策略搞安全RL，在长期任务上比现有方法成功率和安全性都高不少，值得一看。
原文