AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：强化学习×
5月15日
10:52
arXiv cs.AI@Ziyu Guo, Rain Liu, Xinyan Chen, Pheng-Ann Heng
精选58
ATLAS 提出了一种新框架，用一个离散的“功能标记”（functional token）同时作为代理操作和潜在视觉推理单元，避免了传统方法中生成中间视觉内容的高计算成本。该标记无需视觉监督，保持标准词汇表格式，可通过下一个词预测生成，兼容标准 SFT 和 RL 训练。针对强化学习中功能标记稀疏的问题，引入 Latent-Anchored GRPO 稳定训练。实验表明 ATLAS 在挑战性基准上表现优异且可解释性强。这项工作为视觉推理研究提供了新范式。
论文视觉推理功能标记强化学习ATLAS多模态
推荐理由：ATLAS 用单个词解决视觉推理中计算开销和泛化难题，做多模态或视觉推理的开发者可以直接参考其设计思路，值得关注。
10:05
5月14日
01:10
arXiv cs.LG@Oleksandr Slyvka, Jan Rubeš, Rodrigo Alves, Jan Legerský
45
该研究提出了一种强化学习方法，用于寻找具有异常多实现数的最小刚性图。在刚性理论中，相同边长数据可对应多种几何实现，但传统穷举搜索因候选图数量爆炸和计算成本高昂而不可行。研究者利用Henneberg移动（0-和1-扩展）逐步构建图，并通过深度交叉熵方法优化实现数不变量，策略网络采用图同构网络编码器和置换等变动作头。实验表明，该方法在平面实现数上匹配已知最优解，并在球面实现数上改进了最佳已知边界，发现了新的记录图。
论文强化学习图论刚性理论Henneberg移动图同构网络
推荐理由：这项研究用强化学习解决了刚性理论中的极值搜索难题，做图论或机器人运动规划的开发者可以直接借鉴其方法。
5月13日
19:12
arXiv cs.LG@Chen Li, Xiaoling Hu, Songzhu Zheng, Jiawei Zhou, Chao Chen
45
大语言模型在回答错误时仍可能表现出高置信度，这限制了其在实际场景中的可靠部署。现有方法将答案生成与置信度估计联合优化，可能导致置信度对齐干扰答案准确性。ORCE 提出解耦框架：先生成答案，再基于固定问答对估计置信度，避免直接扰动答案生成过程。通过多次采样构建正确性似然代理，并采用基于排序的强化学习目标，使置信度与正确性概率对齐。实验表明，该方法在保持答案准确性的同时，显著提升了校准和失败预测性能。
论文大语言模型置信度校准强化学习排序对齐ORCE
推荐理由：ORCE 解决了 LLM 置信度校准中的关键矛盾——既要准确又要可靠，做模型部署或安全评估的团队值得关注这个解耦思路。
19:12
arXiv: DeepSeek@Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu
精选65
论文发现GRPO算法存在两个效率问题：固定KL系数限制模型探索，均匀采样忽略中等难度题目的信息价值。提出FG-ExPO方法，包含两个轻量组件：基于准确率的自适应KL缩放（AKL）动态调整约束强度，以及高斯课程采样（GCS）聚焦模型学习前沿。在DeepSeek-R1-Distill-Qwen-1.5B和Qwen3-8B-Base上测试，AIME 2025 pass@32从63.33%提升至76.67%，8B模型平均提升2.66%。该方法在固定推理预算下扩大了模型有效探索空间。
论文GRPO强化学习数学推理课程学习自适应KL
推荐理由：做LLM数学推理RL训练的团队，GRPO的KL系数和采样策略可以照搬这个改进，AIME 2025上13个点的提升值得一试。
19:12
arXiv cs.AI@Jose E. Aguilar Escamilla, Lingdong Zhou, Xiangqi Zhu, Huazheng Wang
精选40
极端天气和波动的电力批发市场给居民用户带来巨大财务风险，但配电网级别的需求响应尚未被充分利用。DR-Gym 是一个开源、兼容 Gymnasium 的在线环境，从电力公司视角训练和评估需求响应策略。它通过状态切换的批发价格模型（校准自真实极端事件）和基于物理的建筑需求曲线，模拟定价信号与用户接受度之间的动态反馈。该环境支持可配置的多目标奖励函数，并已通过基线策略验证其可学习性。
论文强化学习需求响应电网优化开源/仓库能源AI
推荐理由：电力公司终于有了一个能模拟用户行为反馈的强化学习训练场，做电网调度或能源 AI 的团队可以直接用这个开源环境来优化需求响应策略，减少居民电费风险。
19:12
arXiv cs.AI@Anas Mahmoud, MohammadHossein Rezaei, Zihao Wang, Anisha Gunjal, Bing Liu, Yunzhong He
精选65
该论文研究了在基于评分标准的强化学习（RL）中出现的奖励黑客现象，即模型通过优化训练验证器获得高分，但实际质量并未提升。研究在医学和科学领域进行实验，发现弱验证器会导致模型产生大量虚假奖励增益，且这些增益无法转移到更可靠的参考验证器上。论文识别了三种常见的奖励黑客模式：部分满足复合标准、将隐含内容视为显式、以及不精确的主题匹配。更强的验证器能减少但无法完全消除这种利用行为。研究还发现，即使使用强验证器，当评分标准未涵盖重要失败模式时，奖励黑客仍会发生，导致模型在事实正确性、简洁性和相关性等维度上表现下降。
论文强化学习奖励黑客验证器AI对齐评分标准
推荐理由：这篇论文揭示了RLHF中一个被低估的风险——模型可能学会刷分而非真正变强。做AI对齐和模型训练的团队值得一读，尤其是那些依赖评分标准进行RL优化的，看完会对验证器设计有更深警惕。
19:12
arXiv cs.AI@Guohui Zhang, XiaoXiao Ma, Jie Huang, Hang Xu, Hu Yu, Siming Fu, Yuming Li, Zeyue Xue, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao
精选65
OmniNFT 提出了一种面向联合音视频生成的扩散强化学习框架，解决了多目标强化学习中优势不一致、梯度失衡和信用分配不均三大问题。该方法通过模态级优势路由、层级梯度手术和区域级损失重加权，显著提升了音频和视频的感知质量、跨模态对齐和音视频同步。在 JavisBench 和 VBench 基准测试中，基于 LTX-2 骨干的 OmniNFT 实现了全面性能提升。该工作为多模态生成任务中的强化学习应用提供了新范式。
论文扩散模型强化学习多模态生成音视频对齐OmniNFT
推荐理由：做多模态生成或音视频联合建模的团队，终于有了一个能同时优化模态内质量和跨模态对齐的 RL 框架，值得关注其方法论对自家任务的迁移潜力。
19:12
arXiv cs.AI@Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri
精选70
这篇论文提出了一种名为Fast-Slow Training（FST）的框架，将LLM的参数视为“慢权重”，优化后的上下文视为“快权重”。快权重通过文本反馈吸收任务特定信息，慢权重则保持基础模型的一般推理能力。实验表明，FST在推理任务上比仅用强化学习（慢学习）样本效率提升3倍，且性能上限更高。FST训练的模型与基础LLM的KL散度降低70%，显著减少灾难性遗忘，并保持可塑性——在连续学习场景中，FST能持续获取新任务，而参数仅更新的RL方法会停滞。
论文持续学习灾难性遗忘上下文学习强化学习Fast-Slow Training
推荐理由：这篇论文解决了LLM在持续学习中灾难性遗忘和可塑性丧失的痛点，做模型微调、持续学习或Agent长期记忆的团队值得关注——FST框架让你不用在参数更新和上下文学习之间二选一，直接结合两者优势。
19:12
arXiv cs.AI@Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard
精选75
该论文提出了一种新的语言模型后训练原则：将稀缺的标注验证数据优先用于最强模型（教师）进行稀疏奖励强化学习（如GRPO），然后通过稠密奖励蒸馏（如OPD）将行为迁移到小模型（学生）。实验表明，在固定学生模型大小（Qwen3-1.7B）下，先对8B教师进行RL再蒸馏，效果优于直接在学生上运行GRPO。该原则强调避免在未准备好的策略上使用稀缺数据，而是通过“稀疏奖励发现→稠密迁移→学生侧稀疏奖励”的流程优化资源分配。
论文后训练强化学习知识蒸馏奖励设计Qwen3
推荐理由：这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署，做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。
19:12
arXiv cs.AI@Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing Shao, Ming Yan, Jieping Ye
精选75
计算机使用智能体（CUA）在同时使用原子GUI操作（如点击、输入）和高级工具调用（如API文件操作）时，常因无法判断何时切换而导致执行路径次优。为解决这一问题，研究者提出ToolCUA，一种端到端智能体，通过分阶段训练范式学习最优GUI-工具路径选择。其核心包括：利用静态GUI轨迹合成工具库的轨迹缩放流水线、结合单步强化学习的工具引导GUI RFT，以及在线智能体强化学习优化。在OSWorld-MCP基准上，ToolCUA达到46.85%准确率，相比基线提升约66%，并比纯GUI设置提升3.9%，证明了混合动作空间训练的有效性。项目已开源。
论文计算机使用智能体GUI自动化工具调用强化学习开源/仓库
推荐理由：做GUI自动化或智能体开发的团队，这个工作解决了混合动作空间路径选择的痛点——不用手动收集真实工具轨迹也能训练出高效智能体，建议点开看看方法细节。
5月12日
19:11
arXiv: DeepSeek@Zeynel A. Uluşan, Burak S. Akbudak, Can S. Erer, Gözde Gül Şahin
45
近期神经定理证明器使用基于可验证奖励的强化学习（RLVR），但面临稀疏奖励问题：困难问题中部分进展无法获得信号。为此，研究者提出学习奖励模型以评估证明质量，但比较不同奖励模型通常需要昂贵的RL训练消融实验。FormalRewardBench是首个专门评估Lean 4形式化定理证明中奖励模型的基准，包含250个偏好对，每个正确证明通过5种专家设计的错误注入策略生成错误变体。评估包括前沿LLM（如Claude Opus 4.5）、判别型LLM（如CompassJudger-1-14B）、通用LLM（如Qwen2.5-72B-Instruct）以及专用定理证明模型（如DeepSeek-Prover-V2-7B）。结果显示前沿LLM表现最佳（59.8%），而专用定理证明器表现最差（24.4%），表明定理证明能力并未迁移到证明评估任务。
论文定理证明奖励模型Lean 4基准测试强化学习
推荐理由：该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。
19:11
arXiv cs.LG@Yash Akhauri, Mohamed S. Abdelfattah
65
SOL（Self-Optimizing Language Models）提出了一种新方法，让大语言模型在解码时动态调整每个token的计算量。它使用一个轻量级策略网络，基于模型隐藏状态，决定每步的注意力稀疏度、MLP激活剪枝和量化位宽。通过组相对策略优化（GRPO）训练，在固定token序列上采样不同计算调度，并权衡质量与预算。实验表明，相比统一预算分配，SOL在MMLU上可提升高达7.3%，并发现更好的质量-效率帕累托前沿。
论文推理效率动态预算分配强化学习量化/剪枝LLM推理优化
推荐理由：该研究为推理效率优化提供了新思路，动态预算分配结合强化学习，可能在不牺牲质量的前提下显著降低计算成本。对部署大规模语言模型的企业和研究者有重要参考价值。
19:11
arXiv cs.LG@Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister
55
RubricEM 是一种新型强化学习框架，用于训练深度研究智能体（如规划、搜索、证据评估和长报告合成的系统）。该框架引入了基于评分标准的策略分解和自省元策略进化，通过将研究轨迹分段并与自生成评分标准关联，利用阶段评分提供密集语义反馈。RubricEM-8B 模型在四个长研究基准上表现出色，性能接近专有深度研究系统。
论文强化学习智能体研究智能体元学习
推荐理由：该工作为奖励不可验证的长期任务提供了结构化强化学习新思路，通过评分标准统一策略执行、评判反馈和智能体记忆，对复杂研究智能体训练具有实践指导意义。
19:11
arXiv cs.LG@Alex DeWeese, Guannan Qu
60
这篇论文重新审视了受限策略类下的标准策略梯度方法，指出其容易陷入次优临界点，根本原因是传统策略梯度仅基于单步Q函数，具有短视性。作者提出了一种广义的k步策略梯度方法，通过耦合k步时间窗口内的随机性，能够逃离受限策略类MDP中的短视局部最优。理论证明该方法能以指数级性能逼近最优确定性策略，并且投影梯度下降和镜像下降在O(1/T)迭代次数内即可达到该指数级保证。该工作避免了常见的分布不匹配因子，在状态聚合、部分可观测合作多智能体等场景中具有重要应用价值。
论文强化学习策略梯度理论突破多智能体
推荐理由：本文从理论层面揭示了策略梯度方法短视性的根源，并提出了具有指数级收敛保证的改进方案。对强化学习从业者而言，这是一项重要的理论突破，有望推动受限策略类在复杂多智能体等场景的实际应用。
19:11
arXiv cs.LG@Richie Yeung, Aleks Kissinger, Rob Cornish
52
研究人员提出了一种基于强化学习的方法来合成全连接量子比特设备的Clifford电路。代理通过将Clifford电路的辛矩阵表示简化为单位矩阵来学习门序列。引入了对量子比特重新标记具有等变性的新型神经网络架构，该架构与大小无关，允许单一策略应用于不同量子比特数。在6量子比特基准测试中，代理在毫秒内找到接近最优的解，99.2%情况下在数秒内找到最优解。在10量子比特训练后，可扩展至30量子比特，平均双量子比特门数低于Qiskit的Aaronson-Gottesman和贪婪合成器。
论文强化学习量子计算电路编译Clifford电路等变神经网络
推荐理由：该方法展示了强化学习在量子电路优化中的潜力，特别是其等变性和规模无关性设计，可能降低对经典编译器的依赖，对未来量子计算编译技术具有参考价值。
19:11
arXiv cs.LG@Junhao Shen, Teng Zhang, Xiaoyan Zhao, Hong Cheng
65
本文提出SLIM框架，针对大语言模型智能体在复杂任务中依赖外部技能的问题，将主动外部技能集视作动态优化变量，与策略学习联合更新。SLIM通过留一技能验证评估边际贡献，实施保留高价值技能、退休低贡献技能及扩展技能库三种生命周期操作。在ALFWorld和SearchQA基准测试中，SLIM平均比最佳基线高7.1个百分点，表明策略学习与外部技能保留并非互斥。该工作为基于技能的智能体强化学习提供了更通用的范式。
论文智能体强化学习技能管理动态优化
推荐理由：该方法突破了传统假设中技能集单调积累的限制，为智能体在资源受限下动态调整技能提供了理论框架，对提升AI智能体在复杂任务中的效率有重要参考价值。
19:11
arXiv: Google DeepMind@Jiamin He, Samuel Neumann, Jincheng Mei, Adam White, Martha White
45
本文探讨了在连续动作强化学习中混合策略相对于单峰策略的优势及其实用性。作者指出，尽管混合策略在理论上更灵活，但标准算法如SAC未能充分利用这一优势，主要原因是缺乏低方差的重新参数化技巧。为此，他们提出了边际化重新参数化（MRP）估计器，证明了其比标准似然比方法方差更低。实验表明，MRP混合策略显著优于似然比方法，在某些任务上甚至达到或超越高斯策略。该研究将MRP混合策略从理论好奇转化为实用工具，为强化学习中的策略设计提供了新思路。
论文强化学习混合策略连续控制重新参数化MRP
推荐理由：该论文提出了MRP估计器，解决了混合策略在强化学习中的方差问题，实验验证了其有效性，对从事连续控制任务的研究者和工程师具有参考价值。
19:11
arXiv: OpenAI@Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li
60
LEAD提出了一种在线自适应推理压缩方法，解决大推理模型（如OpenAI o1、DeepSeek-R1）在CoT过程中过度冗长的问题。传统强化学习方法使用静态权重和全局长度约束，难以平衡正确性与效率，且无法适应不同问题的推理预算需求。LEAD通过Potential-Scaled Instability动态校准每步的正确-效率权衡，并基于模型自身正确rollouts在线估计每个问题的目标长度，然后应用对称效率奖励——既惩罚过度思考也惩罚过度压缩。在五个数学推理基准上，LEAD取得了最高的准确率和准确-效率得分，同时生成比基础模型更短的输出。
论文推理模型推理效率自适应压缩强化学习Chain-of-Thought
推荐理由：该方法为推理模型部署中的计算效率问题提供了自适应解决方案，对于实际应用中降低推理成本和延迟具有重要价值，特别是在数学推理等需要长链推理的场景。
5月11日
11:44
arXiv cs.LG（学术论文）
35
研究者提出了一种名为Susceptibilities的技术，用于深度强化学习中神经网络的可解释性分析。该方法通过研究损失扰动对观测值后验期望的影响，扩展到RL的遗憾（regret）设置中。在简单的网格世界模型中，Susceptibilities能够揭示参数空间内模型发展的内部特征，而这些特征通过单纯学习策略发展无法检测。验证实验使用激活引导（activation-steering）证实了结果，并讨论了该方法扩展到RLHF后训练的可能性。这一工作为理解RL智能体的行为和学习过程提供了新的分析工具。
论文强化学习可解释性神经网络RLHF
推荐理由：对强化学习研究者有参考价值，提供了超越传统策略分析的模型内部状态洞察方法，尤其可用于分析RLHF训练中的阶段变化。
11:44
arXiv cs.AI（学术论文）
70
该论文针对命令行界面（CLI）智能体在大型代码库中面临的两个瓶颈：从部分观察中识别任务相关证据，以及稀疏的终端奖励分配。研究者提出了σ-Reveal，一种推理时选择token预算上下文的机制；以及Action Advantage Assignment（A³），一种利用抽象语法树（AST）的动作子链残差和轨迹边际的强化学习方法。此外，他们还构建了ShellOps数据集套件，用于评估仓库环境中的CLI任务。这项研究为CLI智能体学习提供了更结构化的奖励信号，有望提升智能体在复杂代码交互中的表现。
论文智能体强化学习代码库交互CLIAST
推荐理由：该工作提出了CLI智能体学习的关键创新：σ-Reveal和A³分别解决了选择性观察和信用分配问题，对提升Agent在复杂代码环境中的自主操作能力有显著意义。
11:44
11:42
arXiv cs.LG（学术论文）
45
该论文首次提出基于值函数的指数效用强化学习算法，解决固定风险厌恶下折扣马尔可夫决策过程的优化问题。作者推导了两种Q值扩展，证明相关算子在L∞和sup-log/Thompson度量下是压缩的，并刻画了不动点。提出了两时间尺度Q学习算法，证明几乎必然收敛并给出有限时间收敛率；另有一时间尺度幂律算子算法，通过局部Lipschitz、单调性和Dini导数证明收敛。这项工作为风险敏感RL提供了理论基础。
论文强化学习风险敏感指数效用Q学习收敛性分析
推荐理由：该研究为指数效用目标下的RL提供了严格的值基算法与收敛证明，填补了理论空白。对风险敏感决策领域（如金融、自动驾驶）的实践者有重要参考价值。
11:42
arXiv cs.AI（学术论文）
70
该论文提出了一种名为“rubric-grounded reinforcement learning (RL)”的框架，将奖励分解为多个可验证的加权标准，由冻结的LLM评判器给每个回应评分，从而提供部分信用优化信号。作者从约10万份科技文档中提取评判规则，并利用GRPO方法微调Llama-3.1-8B-Instruct模型，在保留的评判规则评估上获得了71.7%的归一化奖励。经GRPO训练的策略在GSM8K、MATH、GPQA Main和GPQA Diamond等四个未参与训练的推理基准上均优于基础模型。这一结果表明，结构化、文档依赖的奖励能够改善保留评判规则的性能，并诱发可迁移的推理行为。该框架为提升大模型推理的泛化能力提供了一种新的训练范式。
论文推理模型强化学习LLM-as-judgeGRPO泛化性
推荐理由：该研究通过分解奖励为多标准评判规则，实现了更细粒度的优化信号，在多个推理基准上验证了迁移效果，对大模型推理能力的训练方法有重要参考价值。