精选理由
做RL研究或语言模型微调的团队，如果正为多样性-性能权衡头疼，这篇论文给出了一个理论干净的新框架——把奖励不确定性当作多样性来源，不用额外调参。值得细读。
经典强化学习追求确定性策略以最大化标量奖励期望，但在语言模型微调或科学发现等现代应用中，多样性至关重要。现有方法如熵正则化或多样性奖励常需脆弱权衡，牺牲性能换取随机性。本文提出将奖励函数视为分布而非标量，通过非线性的动作集目标函数，使校准的行为多样性自然涌现，且不牺牲期望奖励。在上下文赌博机设定下，推导了原则性的梯度估计器，证明该框架泛化了策略梯度与动作集方法。实验表明，该方法为需要行为广度的复杂RL任务提供了稳健的理论替代方案。
AI 翻译 · 中文
经典强化学习追求确定性策略以最大化标量奖励期望，但在语言模型微调或科学发现等现代应用中，多样性至关重要。现有方法如熵正则化或多样性奖励常需脆弱权衡，牺牲性能换取随机性。本文提出将奖励函数视为分布而非标量，通过非线性的动作集目标函数，使校准的行为多样性自然涌现，且不牺牲期望奖励。在上下文赌博机设定下，推导了原则性的梯度估计器，证明该框架泛化了策略梯度与动作集方法。实验表明，该方法为需要行为广度的复杂RL任务提供了稳健的理论替代方案。
Classical reinforcement learning (RL) typically seeks a deterministic policy that maximizes the expected sum of a scalar reward. Yet, modern applications such as language model fine-tuning or scientific discovery demand …