强化学习相关 AI 资讯 · AI 热点

5月11日

11:42

11:42官方账号arXiv cs.LG（学术论文）

该论文首次提出基于值函数的指数效用强化学习算法，解决固定风险厌恶下折扣马尔可夫决策过程的优化问题。作者推导了两种Q值扩展，证明相关算子在L∞和sup-log/Thompson度量下是压缩的，并刻画了不动点。提出了两时间尺度Q学习算法，证明几乎必然收敛并给出有限时间收敛率；另有一时间尺度幂律算子算法，通过局部Lipschitz、单调性和Dini导数证明收敛。这项工作为风险敏感RL提供了理论基础。

论文强化学习风险敏感指数效用 Q学习收敛性分析

推荐理由：该研究为指数效用目标下的RL提供了严格的值基算法与收敛证明，填补了理论空白。对风险敏感决策领域（如金融、自动驾驶）的实践者有重要参考价值。

11:42

11:42官方账号arXiv cs.AI（学术论文）

70°

该论文提出了一种名为“rubric-grounded reinforcement learning (RL)”的框架，将奖励分解为多个可验证的加权标准，由冻结的LLM评判器给每个回应评分，从而提供部分信用优化信号。作者从约10万份科技文档中提取评判规则，并利用GRPO方法微调Llama-3.1-8B-Instruct模型，在保留的评判规则评估上获得了71.7%的归一化奖励。经GRPO训练的策略在GSM8K、MATH、GPQA Main和GPQA Diamond等四个未参与训练的推理基准上均优于基础模型。这一结果表明，结构化、文档依赖的奖励能够改善保留评判规则的性能，并诱发可迁移的推理行为。该框架为提升大模型推理的泛化能力提供了一种新的训练范式。

论文推理模型强化学习 LLM-as-judge GRPO 泛化性

推荐理由：该研究通过分解奖励为多标准评判规则，实现了更细粒度的优化信号，在多个推理基准上验证了迁移效果，对大模型推理能力的训练方法有重要参考价值。