强化学习相关 AI 资讯

8月25日

10:07

官方一手arXiv: DeepSeek@Renfei Zhang, Niloofar Mireshghallah

使用可验证奖励的强化学习（RLVR）用于提升模型推理能力，但其对模型泄露信息的影响研究不足。研究发现，在良性事实数据上应用RLVR会提高模型提取已记忆的个人信息（PII）。在DeepSeek-V3.1上，针对姓名-电子邮件对的精确召回率从0.155提升到0.370，增幅达2.4倍。模型大小与泄露程度成正比，在参数量最大的模型上泄露最严重。同时，模型推理能力和拒绝率保持不变，表明RL只是选择性地改变可访问的已记忆信息，而非全面改变。通过从未接触过的训练提升可提取的个人信息，为攻击者提供了获取记忆数据的途径，无需隐私相关的训练信号和数据访问权限，只需具备微调无害数据的能力。

论文 DeepSeek-V3.1 个人信息泄露强化学习

推荐理由：这项研究揭示了强化学习在良性事实上的应用可能带来的个人信息泄露风险，值得对AI模型安全性和隐私保护进行深入探讨。

原文

8月24日

10:59

官方账号arXiv cs.AI@Haonan Jia, Shichao Dong, Zenghui Sun, Jiawen Zheng, Ziqi Miao, Gege Shi, Qiuyu Zhao, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

本文提出Re$^3$Cap，一种基于检索引导的图像描述优化策略，通过强化学习提升图像描述准确性。该方法通过识别图像描述中的幻觉和遗漏，实现更精确的描述。在COCO-LN500基准测试中，Re$^3$Cap相较于GRPO平均提升了8.64%的相关推理性能。

AI模型 Re$^3$Cap 图像描述强化学习

推荐理由：Re$^3$Cap模型通过检索引导优化图像描述，比GRPO提升了8.64%的推理性能，值得一看。

原文

8月23日

08:18

08:18IT之家（博客/媒体）

Inherent推出小参数AI智能体Faraday，复现科学论文研究结果的性能超越GPT-5.5与Claude Opus 4.8。Faraday使用规模远小于对手的模型Qwen 3.6，仅270亿参数。Inherent强调其强化学习方法，旨在培养AI的研究品味和参与多领域研究的能力。

AI模型 Faraday Inherent 强化学习

推荐理由：Inherent新推Faraday智能体，小模型大能力，强化学习助其超越GPT-5.5与Claude Opus 4.8，值得关注。

原文

8月22日

00:06

lmarena.ai@lmarena_ai

@poolsideai的研究人员通过迭代、大规模预训练运行、强化学习决策等，快速学习并转化为前沿模型。完整对话可在YouTube观看。

论文 PoolsideAI 迭代学习大规模预训练

推荐理由：想了解如何通过大规模实验转化为前沿模型？PoolsideAI的研究人员分享了他们的经验。

原文

8月20日

10:19

官方账号arXiv cs.LG@Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

该研究针对带记忆的Hawkes驱动随机微分方程，提出连续时间强化学习算法Hawkes-CT DDPG；采用有限维马尔可夫化近似方法，将问题转化为可处理的Markovian形式；对比简单指数、Erlang、幂律三类核的离散方法，验证新方法的性能优势。

论文 Hawkes-CT-DDPG 强化学习连续时间RL

推荐理由：这研究发布了针对Hawkes过程的连续时间强化学习新方法，用近似技术优化求解，和传统离散方法比效果不同，值得了解。

原文

10:16

官方账号arXiv cs.AI@Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

PGFS++是一种用于分子性质优化的强化学习框架，在合成和多样性约束下实现改进。该框架基于PGFS升级，采用可训练反应模板表示，显著提升性能。相比前代方法，它在改善目标性质的同时保持了输出多样性。

AI模型 PGFS++分子优化强化学习

推荐理由：PGFS++是新分子优化方法，能解决合成和多样性难题，比之前版本效果更好还保分子多样性。

原文

8月19日

11:45

Aravind Srinivas@AravSrinivas

精选

RadixArk公司发布了Miles v0.1，这是一个开源的强化学习框架，专门用于训练LLM和多模态模型。该框架已在过去9个月内有72名贡献者提交了1,326次代码提交，并进行了85个GPU端到端CI测试。Miles已在Kimi K3、DeepSeek V4、Qwen 3.8、GLM 5.2等前沿开源模型上进行了实战测试。目前已有包括humansand、periodiclabs等多家公司在NVIDIA和AMD硬件上使用Miles进行前沿模型开发和生产强化学习工作负载。

AI产品 Miles RadixArk DeepSeek

事件专题

推荐理由：RadixArk开源了Miles v0.1框架，帮你调试RL训练，提高硬件效率，已在多个前沿模型上验证。

原文

11:43

官方账号arXiv cs.AI@Zhizhao Liu, Zhiliang Tian, Xi Wang, Zhihua Wen, Yihang Xiong, Zhiquan Lai, Dongsheng Li

研究人员提出了一种基于图的在线难度估计器，用于优化强化学习可验证奖励(RLVR)的调度效率。该框架通过构建语义和推理相似性的样本图，使用Potts先验和Beta-Binomial模型聚合rollout结果。实验表明，该方法在多个基础模型、RL调度器和基准测试中实现了更好的性能，无需专门的探测即可缓解冷启动和反馈过时问题。

论文 RLVR 强化学习图结构

推荐理由：论文提出了一种即插即用的图结构难度估计器，能智能分配探索资源，让RLVR更高效。

原文

11:42

官方一手arXiv: Google DeepMind@Hoda Yamani, Yuning Xing, Koen van Rijnsoever, Bruce A. MacDonald, Henry Williams

研究人员提出即时回合重复(IER)机制，通过立即重复成功回合中的动作序列来提升强化学习样本效率。该机制被集成到SAC和TD3算法中，并在MuJoCo和DeepMind Control Suite等基准测试上进行了验证。实验结果表明，这种简单方法优于标准基线和自我模仿学习基线，在机器人操作任务中也表现出色。

AI模型强化学习 IER SAC

推荐理由：这篇论文提出了一种简单却有效的IER机制，能让强化学习智能体通过重复成功动作更快学习。

原文

11:40

官方账号arXiv cs.LG@Christophe D. Hounwanou, John Emeka Eze, Yaé U. Gaba

该研究结合大型语言模型与强化学习，将LLM规划器和RL控制器架构形式化为目标增强马尔可夫决策过程。研究表明，当LLM的状态进展分数作为有界势函数时，即使LLM评分不准确，形成的奖励塑造项也能保持最优策略集。研究者在小型MDP上验证了结果，包括四种势能配置，其中一种对抗性配置放大到基础奖励幅度的20倍。

论文 LLM RL MDP

推荐理由：这篇论文提出了LLM反馈的奖励塑造方法，即使在LLM评分不准确时也能保持最优策略，比传统方法更可靠。

原文

11:39

官方账号arXiv cs.LG@Isidoro Tamassia, Lennert De Smet, Giuseppe Marra

研究人员提出了一种新型神经符号世界模型，该模型在强化学习中表现优异。该模型将奖励预测与观察重建解耦，仅依赖于潜在状态中的结构化符号组件。实验表明，这种模型可以在不与环境进一步交互的情况下，零样本适应同一符号状态空间中定义的新奖励函数。与纯神经网络方法相比，该模型展现出更强的泛化能力。

论文 Neurosymbolic World Models Zero-Shot

推荐理由：这篇论文提出神经符号世界模型，能让AI系统零样本适应新任务，比传统方法泛化能力更强。

原文

05:50

官方账号Greg Brockman@gdb

Anthropic联合创始人Dario Amodei在X上表示，公司暂时放缓了前沿训练的扩展，包括最大规模的强化学习计划，以加强安全与监控。他认为安全信心将日益决定AI发展速度。该声明引发广泛关注，获得1353次点赞和约14.6万次浏览。

行业 Anthropic AI安全前沿训练

事件专题

推荐理由：Anthropic主动踩刹车，暂停最大规模强化学习训练来加固安全，想了解前沿AI公司怎么平衡速度和风险可以看看。

原文

02:57

官方账号OpenAI@OpenAI

83°

行业 OpenAI 强化学习红队测试

事件专题

推荐理由：OpenAI 暂停前沿模型 RL 训练两周，先搞红队测试和加固环境。

原文

8月18日

15:29

官方账号arXiv cs.AI@Shihong Huang, Shengjie Wang, Hong Ma, Zhou Xu

RLCascadeRouter提出了一种无需质量估计器的级联路由框架，将路由问题建模为马尔可夫决策过程，动作包括停止和模型选择。该方法直接优化性能-成本目标，避免了传统预测-优化流程中预测误差与决策损失不一致的问题。在包含13个LLM的10个LLMRouterBench基准上，RLCascadeRouter优于强基线，实现了更优的性能-成本权衡。它还能无需重训练地纳入未见模型，消融研究验证了策略组件的有效性。

论文 RLCascadeRouter LLMRouterBench 强化学习

推荐理由：如果你在多个大模型间做路由，这个框架能直接优化成本和效果，不用先预测质量，实测在10个基准上超过现有方法，还能兼容新模型。

原文

15:25

官方账号arXiv cs.AI@Langzhe Gu, Chengkai Hou, Meng Li, Xinhua Wang, Jiaming Liu, Xinyuan Lv, Bowei Zhang, Shuanghao Bai, Guangrun Li, Jingyang He, Gaole Dai, Ziluo Ding, Zhiyuan Xu, Kuan Cheng, Jian Tang, Zhengping Che, Shanghang Zhang

HAF框架包含HAF-VLA和HAF-Steer两部分，将预训练的流匹配VLA模型适配到人形机器人全身操作。HAF-VLA通过三阶段动作去噪和跨阶段KV缓存，协调行走、腰姿和双臂操作。HAF-Steer利用流匹配可逆性和DCT降维，在紧凑噪声子空间训练SAC策略，避免更新大型VLA骨干。在7个真实世界人形操作任务中，HAF优于单阶段VLA基线，提升全身协调性和任务性能。

论文 HAF VLA 人形机器人

推荐理由：人形机器人全身操作一直难搞，HAF把通用VLA拆成三阶段动作流，再用DCT降维做在线强化学习，7个真实任务都跑赢了基线。

原文

15:25

官方账号arXiv cs.AI@Minh-Ha Nguyen, Cathy Shyr

PIHF（Policy Iteration with Human Feedback）提出了一种利用预训练语言模型作为执行基底，通过版本化的自然语言策略和工具集进行持续改进的方法。该方法结合了语言模型评论家和临床专家的审查，以定位重复失败并形成候选修订。在超罕见疾病基准测试中，PIHF派生的策略在多个执行器上提升了Recall@1，其中GPT-5.4提升32.7个百分点，Qwen3.6-35B提升31.1个百分点。结果表明，固定权重的预训练语言模型可用于专家引导的策略开发。

论文 PIHF 上下文学习强化学习

推荐理由：PIHF把强化学习的迭代改进搬到了上下文学习里，用语言模型当执行器，专家审阅改进，罕见病诊断上Recall@1提升明显，值得一看。

原文

10:16

官方账号arXiv cs.LG@Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

论文提出两种互补策略改进价值函数强化学习：特权价值函数（PVF）在不偏置策略目标的前提下注入额外token级信号；TETHER则根据价值函数准确性自适应地在组相对基线和价值基线之间插值。在多个推理任务上，这两种策略均稳定优于标准价值函数基线，并与平均基线GRPO相比具有竞争力或更优。

论文 LLM GRPO 强化学习

推荐理由：这论文提了两个新招PVF和TETHER，给LLM强化学习用的，比标准价值函数强，和GRPO差不多甚至更好，搞RL的可以看看。

原文

09:14

官方一手marktechpost@Asif Razzaq

ByteDance Seed与清华AIR发布CUDA Agent，一个用于CUDA内核生成的智能体强化学习系统。该系统训练大语言模型写出比编译器更快的GPU内核。现有前沿模型已能生成正确CUDA，但性能不佳。在KernelBench基准中，基础模型Seed1.6通过率为74.0%。

AI模型 CUDA Agent Seed1.6 KernelBench

事件专题

推荐理由：字节和清华出的新系统，用强化学习让模型自己写CUDA，KernelBench上Seed1.6有74%通过率，能超编译器。

原文

8月17日

10:17

官方账号arXiv cs.LG@Yixian Xu, Yuanrui Zhang, Shengjie Luo, Liwei Wang, Di He

精选

现有扩散模型强化学习算法分为反向轨迹与前向匹配两类，分别依赖离散化似然比和带奖励标签的噪声版本。本文从正则化扩散RL目标出发，用重要性采样得到轨迹空间的策略梯度估计，其中含Flow-GRPO式Itô积分。作者推导出等价的方差缩减值梯度形式，恢复AWM和DiffusionNFT的前向匹配结构，把两类方法的差异归因于方差缩减而非RL原则。在SD3.5-M和Qwen-Image模型上的实验验证了这一解释，并取得优于既有扩散RL基线的结果。

论文 Flow-GRPO AWM DiffusionNFT

推荐理由：这篇论文把Flow-GRPO、AWM、DiffusionNFT几套方法统一到一个框架里，说清了它们差别只是方差缩减，还在SD3.5-M和Qwen-Image上跑赢了之前的方案。

原文

8月14日

11:08

官方账号arXiv cs.LG@Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen, Guangran Cheng, Erfei Cui, Xuanlang Dai, Shengyuan Ding, Shangheng Du, Yanhui Duan, Yue Fan, Youqing Fang, Quan Gan, Yuanyuan Gao, Jiaye Ge, Lixin Gu, Yuzhe Gu, Qipeng Guo, Junjun He, Xin Hong, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Zixian Huang, Minxi Jin, Lingkai Kong, Alexander Lam, Zehao Li, Zonglin Li, Tianhao Liang, Dahua Lin, Junyao Lin, Tianyang Lin, Zhouhan Lin, Jiangning Liu, Jin Liu, Kuikun Liu, Wenran Liu, Yifei Liu, Yuhong Liu, Yuhong Liu, Zhoumianze Liu, Ziyan Liu, Ziyu Liu, Haijun Lv, Han Lv, Chengqi Lyu, Le Ma, Ningsheng Ma, Zerun Ma, Haoyang Peng, Runyu Peng, Jifei Shan, Zixin Shang, Kou Shi, Xiang Shi, Qisheng Su, Xuerui Su, Hao Sun, Xiao Sun, Yanan Sun, Yu Sun, Huanze Tang, Yinghao Tang, Wenhui Tian, Zhongbo Tian, Bingli Wang, Haomin Wang, Jiarui Wang, Jingzhi Wang, Rui Wang, Xiquan Wang, Yi Wang, Zhecan Wang, Ziyi Wang, Zun Wang, Rubin Wei, Lianyi Wu, Wen Wu, Yue Wu, Yuhan Wu, Zhenyu Wu, Zijian Wu, Shuhao Xing, Jun Xu, Xingle Xu, Xuenan Xu, Xiangchao Yan, Ziang Yan, Bowen Yang, Danni Yang, Lin Yang, Zhiqi Yang, Qian Yao, Haochen Ye, Peng Ye, Jinhui Yin, Jiashuo Yu, Dingbo Yuan, Fei Yuan, Yuhang Zang, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Junming Zhang, Wenlong Zhang, Wenwei Zhang, Yiming Zhang, Zhuo Zhang, Ziyang Zhang, Haiteng Zhao, Penghao Zhao, Yibo Zhao, Zhonghan Zhao, Zhihang Zhong, Bowen Zhou, Peiheng Zhou, Xin Zhou, Xinyu Zhou, Yunhua Zhou, Dongsheng Zhu, Yicheng Zou

Intern-S2-Preview 是一系列面向科学发现的智能体基础模型，支持多模态科学理解、推理、生成和长周期任务。训练流程包含科学多模态预训练、监督微调、多任务强化学习及智能体 RL，并引入部分 rollout、自适应长度正则化等技巧提升稳定性。其中 Intern-S2-Preview-397B 在 SciTS 时间序列基准上取得领先表现，同时其时间序列模块增强了科学信号理解与预测。独立的 Intern-MemDec-4B 扩展将 Biology-Instructions 平均分从 56.92 提升至 60.32，且无需修改冻结的 397B 主干。

AI模型 Intern-S2-Preview 科学智能体多模态

推荐理由：这个科学智能体模型能处理多模态数据，397B 版在时间序列预测上很强，还有个 4B 小模型能直接把生物任务分数拉高，适合搞科研的人看看。

原文

8月13日

17:48

官方账号arXiv cs.AI@Zile Zhou, Huining Yuan, Weichen Zhang, Xinlei Chen, Xiao-ping Zhang

SCOUT 提出结构化思维链框架，显式建模 3D 环境感知以增强空间理解。其强化学习算法引入多目标过程奖励和定制的优势估计方法，实现推理轨迹的细粒度信用分配。研究者构建了 SCOUT-24k 结构化空间推理数据集。SCOUT-3B 在通用空间基准上提升 16.85%，在复杂空间推理任务上提升 6.3%。SCOUT-7B 超出 GPT-4o 4.28%，且能泛化到多图像和视频场景。

论文 SCOUT 空间推理 VLM

推荐理由：空间推理一直是视觉语言模型的硬伤，SCOUT 用新的训练方法把 3D 理解做得更准，7B 规模直接超过 GPT-4o，还能迁移到视频上。

原文

02:57

Y Combinator@ycombinator

精选

Physical Intelligence 联合创始人 Chelsea Finn 在 YC Startup School 2026 上分享了通用机器人的研发经验。她表示强化学习将机器人吞吐量提升了 2 倍。其系统已能自主运行数小时，无需人类全程监护。她认为机器人正进入 GPT 时代，从专用模型走向跨任务、跨机器人、跨环境的通用系统。

AI模型 Physical Intelligence Chelsea Finn 通用机器人

推荐理由：Chelsea Finn 在 YC 活动上讲强化学习让机器人效率翻倍，还能连续干活几小时，想了解通用机器人怎么落地可以听听。

原文

8月12日

04:05

官方账号NVIDIA AI@NVIDIAAI

NVIDIA在发布Lightning模型的同时，推出了Nemotron-RL-Agentic-Terminal-Pivot数据集。该数据集是用于后训练编码智能体能力的开放智能体强化学习数据集。数据集已上传至Hugging Face平台，供开发者使用。

论文 NVIDIA Nemotron-RL-Agentic-Terminal-Pivot Hugging Face

事件专题

推荐理由：NVIDIA开源了训练编码智能体的数据集，想搞强化学习或智能体开发的可以看看。

原文

8月11日

12:34

官方账号arXiv cs.LG@Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

arXiv新论文提出参数空间探索方法3PO（Perturbed Parameter Policy Optimization），通过从后验分布采样不同策略生成rollout，补充传统动作空间探索的不足。在OLMo-3-1025-7B和Qwen2.5-Math-7B上，3PO在数学推理和代码生成任务中平均性能优于标准GRPO，且FLOPs成本几乎相同。多参数采样还减少了训练中零优势组和错误rollout的数量。

论文 3PO GRPO 参数空间探索

推荐理由：想提升LLM强化学习效果？3PO用参数采样替代温度调节，在OLMo和Qwen上比GRPO更稳更好，成本还一样。

原文

11:53

官方账号arXiv cs.AI@Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker

DSLE是一个容器化平台，将《黑暗之魂：重制版》的22个Boss战作为Gymnasium风格基准。DSLE-5子集包含5个代表性Boss，用于评估随机策略、专家系统、进化基线和PPO/DQN智能体。专家系统和进化基线分别以63%和43%的胜率击败教程Boss，但其他方法均未击败其余Boss。PPO和DQN在教程Boss上胜率最高仅0.33%，其余为0%。研究通过生存时间和伤害量报告失败案例。

论文 DSLE Dark Souls 强化学习

推荐理由：想测强化学习在硬核动作游戏里的极限？DSLE把黑暗之魂Boss战变成基准，PPO和DQN连教程Boss都打不过，看看专家系统怎么赢的。

原文

10:53

官方账号arXiv cs.LG@Logan Luna, Juan Ortiz Couder, Raul Alejandro Vargas-Acosta

研究者提出用近端策略优化（PPO）训练强化学习智能体，实现卫星自主避碰。在1000次确定性GEO场景中，智能体避障成功率达97.5%，远超基于规则基线（20.7%）和脉冲delta-v规划器（27.5%）。训练使用开源高保真天体动力学模拟器，包含日月三体摄动、燃料依赖推力及可配置碎片场。采用课程学习和塑形奖励，兼顾生存、投影距离和delta-v节省。框架已公开，代码见purl.org/sat-trajectory-avoidance。

论文 PPO 强化学习卫星避障

推荐理由：卫星避碰现在靠人工和规则，越来越难。这篇用PPO强化学习，在模拟里成功率97.5%，比传统方法高出一大截，代码还开源了。

原文

10:52

官方账号arXiv cs.LG@Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

符号回归旨在寻找描述目标变量与输入间随机依赖的代数表达式，不同于固定模型结构的参数拟合，它是在表达式空间中的搜索问题。ERRLESS（熵正则化强化学习用于表达式结构采样）通过最大熵强化学习，学习一个神经网络策略来逐步构建抽象语法树，从而从给定数据的表达式后验分布中采样。在Feynman基准上，ERRLESS取得了有竞争力的结果，同时生成简短且可解释的表达式。与SMC基线相比，ERRLESS近似后验预测均值实现了较高的决定系数（R²），凸显了贝叶斯视角在符号回归中的优势。

论文 ERRLESS 符号回归强化学习

推荐理由：想找能处理噪声数据、还能告诉你不确定性有多大的回归方法？ERRLESS用强化学习从后验里采样表达式，Feynman基准上表现不错，表达式还短。

原文

10:39

官方一手arXiv: OpenAI@Prishita Ray

该论文提出一种基于单向梯度优化的重参数化课程生成框架，用于在连续环境参数（如转弯率、障碍物、摩擦、坑洞、坡度）中自动设计训练课程，提升自主智能体的导航策略泛化能力。方法在包含图像和标量的多模态观测空间中引入分布偏移正则化目标，以学习更细粒度的潜在表征。在OpenAI Gym的Car Racing和Bipedal Walker两个连续控制环境中，该方法在五个随机种子上优于普通策略训练、随机参数采样、手动课程、前沿方法、SPRL、ALP-GMM和反向课程学习等基线。消融实验验证了重参数化课程机制的有效性，并揭示了辅助正则化目标在不同环境中的依赖效果。

论文课程生成导航策略 OpenAI Gym

事件专题

推荐理由：想让导航策略适应各种环境参数？这篇论文的自动课程生成方法在Car Racing和Bipedal Walker上打败了SPRL等基线，值得一看。

原文

8月10日

11:22

官方一手arXiv: DeepSeek@Senhao Wang, Chenghao Cai, Haitao Hu, Mingxing Huang, Xingguang Wang, Wenhao Li, Zecheng Lin

精选

现有强化学习RL训练对话智能体时通常针对固定对手，导致策略利用对手特定规律，作者将其称为静态对手不匹配问题。为此提出的IB-RL让对话双方通过联合轨迹共同进化，但各自用独立优势、动作掩码和更新路径优化自身奖励。在Vehicle TeleSales任务上，IB-RL取得89.6%的Success@1，超过最优单边基线84.6%。在Deal-or-NoDeal任务中，IB-RL对DeepSeek V4 Pro达到98.4%的一致率，而最优单边基线仅86.4%。

论文 IB-RL DeepSeek V4 Pro 强化学习

事件专题

推荐理由：IB-RL让对话双方独立对练，不靠固定对手。车销任务89.6% vs 基线84.6%，还胜过DeepSeek V4 Pro。

原文

11:13

官方账号arXiv cs.AI@Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

Fisher-R1是一个面向可靠假设检验的开源LLM代理，基于强化学习训练。研究团队构建了P-Bench基准，包含425个覆盖经济学、生物学和医学的假设检验任务。Fisher-R1-14B在P-Bench上平均相对成功率比DeepSeek-V4-Pro高21%，在最具挑战性的任务上高出26%。该模型还超过了GPT-5.4等强基线，表明带验证性统计奖励的强化学习能提升推理可靠性。

论文 Fisher-R1 P-Bench 假设检验

事件专题

推荐理由：开源模型Fisher-R1专治假设检验，比GPT-5.4和DeepSeek-V4-Pro都强，最难任务能提26%，搞数据分析的可以看看。

原文

11:06

官方账号arXiv cs.AI@Valentin Liévin, Samuel Schmidgall, Tim Strother, Alex Bijamov, Akshay Goel, Anil Palepu, Chunjong Park, Vahid Balazadeh, Min Woo Sun, Marius Guerard, Justin Chen, Dave Steiner, Vikram Dhillon, Ibrahim Azar, Akhil Mehta, Nicholas Spetsieris, Shilpan Shah, Maen Abdelrahim, Amit Dahiya, Yun Liu, Katherine Chou, Yossi Matias, Avinatan Hassidim, Dale R. Webster, Quoc V. Le, Raia Hadsell, Joelle Barral, Carey Radebaugh, Aleksandra Faust, Shekoofeh Azizi, Mike Schaekermann, Po-Hsuan Cameron Chen, Tao Tu, David Racz, Lin Yang

ResidencyRL通过强化学习在模拟临床环境中训练医疗AI，每个轨迹最多包含60轮对话和8次工具调用。在对抗条件下，该智能体的诊断准确率达到88.0%，比基础模型提升7.0%。漏诊红旗率降低31%，表明能有效减少过早闭合。盲审临床专家在87.6%的对比中更偏好训练后的智能体。在AMIE多访基准的六个临床轴上均超过基础模型。

论文 ResidencyRL 强化学习医疗AI

推荐理由：医疗AI训练新方法ResidencyRL，模拟临床对话，诊断准确率涨7%，漏诊率降31%，专家更看好。

原文

10:55

官方账号arXiv cs.LG@Zhaoyu Zhu, Rui Gao, Shuang Li

Wasserstein策略梯度（WPG）通过动作空间的传输更新状态条件策略。研究熵正则化折扣线性二次（LQ）控制问题时，Bellman验证论证表明该问题存在线性高斯最优策略。WPG可精确化为关于反馈增益和动作协方差的有限维常微分方程（ODE）。该ODE从任意可行初始值全局适定且指数收敛，且收敛指数在熵温度趋于0时保持正极限，不含exp(-c/τ)扰动因子。

论文 Wasserstein策略梯度线性二次控制熵正则化

推荐理由：这篇论文把WPG在LQ问题上化简成ODE，证明了指数收敛，做控制理论的可以看看。

原文

10:43

官方账号arXiv cs.LG@Haoyu Zheng, Yun Zhu, Qing Wang, Wenqiao Zhang

TRIAL提出统一回合对齐评分协议，为每个决策回合提取结果视图并比较普通与事后条件下的响应，以有符号对数概率差分配标记级监督。在WebShop和ALFWorld上使用不同骨干模型，TRIAL在全部八种组合中超越GRPO，并在六种组合中达到最优或并列最优。使用Qwen3-1.7B时，WebShop成功率从56.4%提升至75.2%，任务分数从78.7%提升至85.7%。消融实验显示，轨迹相对的回合分配比单纯密集事后蒸馏带来更大提升。

论文 TRIAL GRPO Qwen3

推荐理由：这个新框架TRIAL能让智能体强化学习更高效，在多个任务上超过GRPO，成功率提升近19个百分点，搞RL的可以看看。

原文

10:40

官方账号arXiv cs.LG@Taha Shieenavaz, Shabnam Zareshahraki, Loris Nanni

并行化Q网络（PQN）在无经验回放和目标网络条件下实现稳定离策略学习。研究者在严格参数约束下评估了8种CNN拓扑，并集成Hadamax编码及分布式、集成、决斗等Q学习扩展。在Atari-57基准上，Aftab的IQM人类归一化得分为6.479，对标准PQN基线的改进概率为0.86。在Procgen Hard基准上，Aftab的IQM归一化得分为0.418，高于基线的0.382。完整框架已开源在GitHub。

论文 Aftab PQN CNN

推荐理由：Aftab架构在Atari-57上拿到IQM 6.479，比标准PQN基线强不少，代码和训练配置都开源了，搞RL的可以看看。

原文

8月7日

13:18

官方账号arXiv cs.AI@Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu, Yuquan Lu, Jinyang Huang, Yan Xu, Yasheng Wang, Weinan Zhang, Xingshan Zeng, Weiwen Liu

EnvACE 是一种面向大语言模型智能体的强化学习方法，训练时不再依赖真实或合成的可执行环境交互，而是让策略交替执行动作和扮演环境产生响应。该方法在 BFCL-v4、tau^2-Bench、VitaBench 和 FinMCP-Bench 四个基准上表现优异，整体评估超过环境扩展类基线。受控实验表明，世界预演在不同模型规模下都能稳定提升策略学习效果。测试阶段，内化的世界模型还可在提交执行前进行私有预演，在中等预演预算下获得额外增益。代码已在 GitHub 上公开。

论文 EnvACE 强化学习智能体

推荐理由：EnvACE 让模型自己脑补环境的反馈，省去搭建外部模拟器，四个基准上还赢了。想低成本练智能体的可以看看。

原文

12:57

官方一手arXiv: Google DeepMind@Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen

本文提出OG-SPR，一种用于视觉连续控制的模型无关强化学习算法，融合多步潜在自预测与下一观察预测两个辅助目标。在DeepMind Control Suite的28个视觉控制任务上，OG-SPR相比现有自预测和观察预测方法获得更高的总体性能，尤其在dog和humanoid等困难任务上提升显著。该方法为共享表征引入两个轻量适配器来执行潜在自预测，避免直接强制表征满足预测目标带来的过约束问题。

论文 OG-SPR 强化学习视觉控制

推荐理由：OG-SPR把两种预测目标结合起来，28个控制任务上超过现有方法，难任务提升明显。搞视觉RL的可以看看。

原文

12:30

官方账号arXiv cs.LG@Chenglong Wang, Ziming Zhu, Yifu Huo, Bei Li, Qiaozhi He, Yan Ding, Xiaoyang Hao, Yuxin Gao, Tianhua Zhou, Xiaojia Chang, Tongran Liu, Jingbo Zhu

生成式奖励模型在响应排序上表现出色，但其比较性输出与强化学习要求的标量奖励不匹配。为此论文提出 RRC（Ranking-based Reward Construction），通过相对偏好排序构造奖励信号。RRC 包含自竞争排序和锚定引导排序两种互补策略，分别利用采样响应间的比较和小规模参考响应实现可扩展构造。实验在开放对话和推理基准上验证，RRC 相比现有方法持续提升强化学习训练效果。

论文 RRC 生成式奖励模型强化学习

推荐理由：这篇论文提出 RRC，能把生成式奖励模型的排序结果转成强化学习能用的信号，在对话和推理任务上比现有方法更稳定地提升训练效果。

原文

10:28

官方一手arXiv: OpenAI@Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen

精选

ProDVI是一个利用大语言模型为强化学习智能体提供初始化先验的新框架。它让代码生成模型输出Python函数，编码对环境动力学的粗略假设，再生成合成转移数据。这些数据用于预训练actor-critic价值网络的状态-动作编码器，使智能体在在线强化学习开始前获得动力学感知的表示。在OpenAI Gym和DeepMind Control Suite任务上，ProDVI显著提升了无模型强化学习算法的样本效率。

论文 ProDVI 强化学习大语言模型

事件专题

推荐理由：这篇论文用大语言模型写代码来初始化强化学习，不用模拟器和预收集数据，在Gym和Control Suite上都能省样本。

原文