reinforcement-learning

强化学习（RL）近期在算法效率、环境泛化与人类反馈结合上取得显著进展。OpenAI 系列工作揭示了策略梯度与软 Q 学习在特定条件下的等价性，为统一不同 RL 框架提供了理论支撑。同时，多目标强化学习被定义为开放挑战，要求智能体同时达成多个目标，这对机器人等真实场景至关重要。PPO 算法的发布简化了 RL 训练过程，通过裁剪代理目标函数实现稳定更新，成为广泛实用的基线方法。进化策略被证明可在某些任务上达到与 RL 相当的性能，且更易于并行化，暗示了黑箱优化与梯度方法之间的互补性。事后经验回放（HER）创新性地利用目标重标记，解决了稀疏奖励下的学习难题。此外，RL-Teacher 框架引入人类反馈进行在线训练，提升了复杂任务的学习效率。Dota 2 的自我对弈系统则展示了大规模 RL 在游戏中的超人类表现。当前焦点集中在提升探索效率（如参数噪声）、环境标准化（如 Roboschool）以及定理证明等新领域（如 GamePad）。未来观察点：RL 与进化策略的融合、多目标泛化能力，以及人机协作训练范式的成熟。