精选理由
做连续控制RL的理论研究者会感兴趣——这篇论文用Bellman结构替代凸性假设，为WPG的全局收敛提供了首个完整证明，建议做策略梯度理论的团队仔细读。
该论文首次为Wasserstein策略梯度（WPG）方法在熵正则化强化学习中的全局收敛性提供了严格理论证明。WPG利用动作分布的最优传输几何，通过软Q函数的动作梯度与Langevin扩散更新策略，但标准Langevin分析因RL目标通过Bellman递归依赖策略而失效。研究者通过Bellman残差的KL表示、Bellman收缩与Bellman预解恒等式，建立了分布Polyak-Łojasiewicz条件，并利用对数Sobolev不等式控制离散化误差，最终证明WPG以几何速率收敛至全局最优（存在离散化偏差）。该工作揭示了熵正则化RL虽非传统凸优化，但Bellman递归诱导了有利的PL几何结构。
AI 翻译 · 中文
该论文首次为Wasserstein策略梯度（WPG）方法在熵正则化强化学习中的全局收敛性提供了严格理论证明。WPG利用动作分布的最优传输几何，通过软Q函数的动作梯度与Langevin扩散更新策略，但标准Langevin分析因RL目标通过Bellman递归依赖策略而失效。研究者通过Bellman残差的KL表示、Bellman收缩与Bellman预解恒等式，建立了分布Polyak-Łojasiewicz条件，并利用对数Sobolev不等式控制离散化误差，最终证明WPG以几何速率收敛至全局最优（存在离散化偏差）。该工作揭示了熵正则化RL虽非传统凸优化，但Bellman递归诱导了有利的PL几何结构。
Wasserstein policy gradient (WPG) is a policy optimization method for reinforcement learning (RL) that exploits the optimal-transport geometry of action distributions. For the entropy-regularized RL objective, WPG evolve…