12:22
官方账号arXiv cs.LG@Zhaoyu Zhu, Rui Gao, Shuang Li
精选
推荐理由：做连续控制RL的理论研究者会感兴趣——这篇论文用Bellman结构替代凸性假设，为WPG的全局收敛提供了首个完整证明，建议做策略梯度理论的团队仔细读。
Wasserstein策略梯度
共 1 条相关 AI 资讯
5月26日
12:22
该论文首次为Wasserstein策略梯度（WPG）方法在熵正则化强化学习中的全局收敛性提供了严格理论证明。WPG利用动作分布的最优传输几何，通过软Q函数的动作梯度与Langevin扩散更新策略，但标准Langevin分析因RL目标通过Bellman递归依赖策略而失效。研究者通过Bellman残差的KL表示、Bellman收缩与Bellman预解恒等式，建立了分布Polyak-Łojasiewicz条件，并利用对数Sobolev不等式控制离散化误差，最终证明WPG以几何速率收敛至全局最优（存在离散化偏差）。该工作揭示了熵正则化RL虽非传统凸优化，但Bellman递归诱导了有利的PL几何结构。