exploration(探索)是强化学习与决策智能中的核心问题，指智能体在未知环境中如何权衡“尝试新动作以获取信息”与“利用已知最优策略”的过程。它的好坏直接决定模型能否发现更优解，因此长期是算法研究的基础议题，从经典的多臂老虎机到大模型 RLVR 训练都在围绕它演进。
exploration 近期进展
当前焦点与观察点
经典方法仍在持续被检验。OpenAI 曾系统梳理过三类思路：参数噪声提升强化学习探索效果通过扰动策略参数而非动作来鼓励多样性；基于计数的深度强化学习探索方法研究用状态访问频率构造内在奖励；UCB探索：Q集成方法则借助多个 Q 网络的集成近似乐观估计。这些工作奠定了后来许多方法的基线。
当前讨论集中在两个方向。一是大模型 RLVR 中的探索机制：传统噪声注入在语言任务上如何设计、如何避免熵坍缩，EDEN 等工作是近期代表。二是长程任务中的探索与利用协调，如 AtomicRL 在长时程机器人操作中的分解式训练，以及 Pair-Aware Optimization 对探索与精化两阶段的显式协调。争议点在于：内在奖励类方法在稀疏反馈的大模型场景是否仍然有效，尚无定论，值得持续观察。