强化学习相关 AI 资讯

7月9日

09:34

官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe

论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。

论文 Transformer RL rejection fine-tuning

推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

原文

09:14

官方账号arXiv cs.AI@Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

提出Single-rollout Asynchronous Optimization (SAO)方法，解决异步RL中GRPO框架不适用于智能体任务的稳定性和离策略问题。用单轨迹采样替代组采样，配合价值模型训练和双面token级裁剪，在SWE-Bench Verified、BeyondAIME、IMOAnswerBench上持续优于GRPO及其变体。SAO已成功部署于GLM-5.2模型(750B-A40B)的智能体RL训练管线。

论文 SAO GRPO GLM-5.2

推荐理由：想高效训练智能体模型？SAO用单轨迹采样打补丁，稳定训练1000步，在编码和推理基准上全面超越GRPO，干货论文。

原文

01:49

官方账号Decoder@Matthias Bastian

73°

Mistral 发布了 Robostral Navigate，一个 8B 参数的机器人导航模型。该模型仅依靠单个 RGB 摄像头即可在未知环境中引导机器人。它在模拟中训练并通过强化学习方法 CISPO 优化。在 R2R-CE 基准上，Robostral Navigate 达到了 76.6% 的准确率。Mistral 尚未公布该模型的发布时间。

AI模型 Mistral Robostral Navigate 机器人导航

事件专题

推荐理由：Mistral 出了机器人模型 Robostral Navigate，8B 参数用单摄像头就能导航，R2R-CE 上 76.6%，轻巧实用。

原文

7月8日

23:31

elvis@omarsar0

精选

NapMem论文提出将长期记忆视为智能体可自主导航的动作空间，通过强化学习训练智能体选择合适粒度的记忆。它构建多粒度记忆金字塔，包括原始对话、类型化记忆记录、主题轨迹和用户画像，并通过溯源关系链接成工具。在PersonaMem-v2、LongMemEval和LoCoMo基准上保持竞争力，且不损害通用推理与工具使用能力。

论文 NapMem 长期记忆智能体

推荐理由：这篇论文解决了记忆系统被动检索的问题，让智能体自己决定查哪层记忆，效果还很强。

原文

12:15

官方账号arXiv cs.AI@Chase McDonald, Nathan Tsang, Wesley N. Kerr

FootsiesGym 是基于 HiFight 的极简 2D 格斗游戏 Footsies 构建的开源环境，用于研究双人零和不完美信息游戏中的循环非传递策略互动。该环境提供向量化模拟器，可在标准硬件上实现高吞吐量训练。论文对多种强化学习算法进行了基准测试，并讨论了开放研究方向。代码已开源在 GitHub。

论文 FootsiesGym HiFight 强化学习

推荐理由：想研究格斗游戏AI？这个新基准FootsiesGym基于极简游戏Footsies，自带高效模拟器，适合强化学习训练和对比。

原文

12:10

官方账号arXiv cs.AI@Marcos Eduardo Cruz Victorio, Karl Mason

爱尔兰奶业有巨大可再生能源整合潜力，但分布式发电控制研究主要集中在住宅和商业领域。该论文提出一种基于差分进化与多智能体深度强化学习的双层控制框架：上层使用动态定价，下层负责电池管理。在农村配电线路仿真中，该框架相比基于规则的模型将能源套利利润提升高达18%，同时增加了分布式发电利用率且未显著增加成本，并满足爱尔兰电网电压规范。

论文 Differential Evolution Multi-Agent Deep Reinforcement Learning Battery Management

推荐理由：这篇论文用差分进化+多智能体强化学习搞定了奶牛场电池管理，比规则模型多赚18%，还合规电网。搞能源优化的值得一看。

原文

10:16

官方账号arXiv cs.AI@Xinyuan Chen, Haoyu Guo, Shi Guo, Bingqi Jiang, Chunhua Shen, Xing Shen, Tianfan Xue, Yufei Xue, Mulin Yu, Weinan Zhang, Bin Zhao, Bowen Zhou, Ming Zhou

一篇视角文章提出了世界模型的科学定义和分阶段路线图，涵盖从基于模型的强化学习、视频生成到具身机器人和物理AI等子领域。文章指出当前对世界模型缺乏共识，并讨论了关键技术方面，包括预测内容与构建方法。它为不同研究方向的世界模型开发提供了系统性框架。

论文世界模型强化学习视频生成

推荐理由：这篇给了世界模型的具体定义和路线图，适合想了解它在强化学习、视频生成、机器人等领域不同玩法的人。

原文

09:57

官方账号arXiv cs.LG@Parmida Geranmayeh, Onur Günlü

论文提出一种针对6G通感一体化（ISAC）系统的安全方案，利用博弈论建模合法用户与攻击者的交互，并集成到强化学习（RL）框架中。攻击者通过操控波束赋形方向增加干扰并误导发射器。在城市环境仿真中，该方法成功检测主动攻击者，有效解决了6G ISAC系统的动态安全挑战。

论文 6G ISAC 博弈论

推荐理由：这篇论文用博弈论加强化学习来检测6G通信中的攻击者，针对城市环境里的波束操控，思路挺新颖的。

原文

06:31

官方账号Meta AI@AIatMeta

Meta 的 Muse Image 模型在强化学习训练中涌现出思维链内的自我改进行为，能够自适应地选择执行局部编辑、完全重新生成或调用外部工具。该行为未经显式编程，而是模型为优化图像质量和最大化奖励而产生的策略。实验显示这一涌现能力显著提升了图像生成效果。

AI模型 Muse Image Meta 强化学习

推荐理由：Meta 的 Muse Image 在强化学习下自己学会了边画边改，能局部修也能重画，效果比直接生成更好，值得看看

原文

7月7日

12:51

官方账号arXiv cs.LG@Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang, Yuxiao Dong

CompactionRL是一种新的强化学习策略，用于训练长程agentic LLM，通过上下文压缩解决有限上下文窗口问题。该方法联合优化任务执行和摘要生成，采用token级损失归一化和跨轨迹广义优势估计，让LLM agent从压缩的长轨迹中学习。基于GLM-4.5-Air模型（106B-A30B），CompactionRL在SWE-bench Verified上达到66.8%的Pass@1，提升7.0点；在Terminal-Bench 2.0上达到24.5%，提升3.1点。基于GLM-4.7-Flash（30B-A3B），Pass@1分别提升5.5和6.8点。该技术已被部署于训练GLM-5.2模型（750B-A40B）的RL流水线。

论文 CompactionRL GLM-4.5-Air GLM-4.7-Flash

推荐理由：一篇论文提出用强化学习+上下文压缩训练长程智能体，在SWE-bench等基准上显著提升开源模型表现，适合关注Agent训练和RL方法的人。

原文

11:11

官方账号arXiv cs.AI@Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

TREK提出一种分阶段训练方法，解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型（如DeepSeek-V4）的已验证轨迹拉入学生模型支持域，再返回标准GRPO精炼。在数学推理中，TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。在代理任务上，ALFWorld成功率从75.8提高到82.8，ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹，可兼容黑盒或白盒教师。

论文 TREK GRPO 蒸馏

推荐理由：这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。

原文

03:00

AK@_akhaliq

该研究指出LLM强化学习中优化训练策略（Optimizing Training Policies）可能是一种幻象。作者提出单调推理策略（Monotonic Inference Policies）才是真正的优化目标。论文分析了现有训练策略的局限，并展示了单调推理策略的优势。

论文 LLM 强化学习训练策略优化

推荐理由：这篇论文告诉你，别只想着怎么训练，推理策略才是LLM强化学习的关键。

原文

01:21

官方一手AWS Machine Learning Blog@Maria Masood

精选

AWS发布教程，使用Amazon Nova Forge和Amazon SageMaker HyperPod构建两阶段多轮强化学习基础设施。该管道是事件驱动：上传训练数据到Amazon S3即可自动触发训练任务。示例训练模型玩Wordle游戏，作为用户自定义RL任务的占位符。

技巧 Amazon Nova Forge Amazon SageMaker HyperPod 强化学习

推荐理由：AWS手把手教你用SageMaker HyperPod+Nova Forge搭RL训练管道，上传数据到S3就自动开练，还用Wordle做了例子。

原文

7月6日

18:18

Thomas Wolf@Thom_Wolf

Thom Wolf用Fable和GPT Image 2将RL for training LLMs维基协作事件日志转化为等距小镇视图。代理们在咖啡馆发帖、在图书馆提交arXiv摘要PR、在法院审阅其他代理工作、在印刷厂合并更新。该项目启动于Hugging Face上的开放协作，已有代理持续阅读旧论文和新论文并撰写摘要。维基已形成可读的百科全书式内容，小镇可视化则提供了一种直观观察协作脉冲的方式。

AI产品 Fable GPT Image 2 Hugging Face

推荐理由：Thom Wolf做了个好玩项目：把一群AI代理协作写维基的过程变成像素风小镇，看它们进咖啡馆、上法院，超有趣。想了解RL训练LLM的协作方式？点进去看。

原文

7月5日

10:37

官方一手marktechpost@Michal Sutter

73°

林俊扬（前Qwen技术负责人）指出Qwen3的混合思考模式存在不足，动态思考预算机制并未有效融合推理与行动。他主张应从推理思考转向智能体思考，并强调智能体强化学习（agentic RL）的基础设施构建比预训练RL更难。他警告奖励破解（reward hacking）在智能体训练中更具危害性，需设计更稳健的奖励模型。

行业 Qwen 智能体强化学习

推荐理由：Qwen前核心负责人亲自复盘Qwen3设计缺陷，解释了为什么团队转向智能体RL路径，技术干货满满。

原文

7月3日

11:28

官方账号arXiv cs.AI@Zhilin Wang, Han Song, Runzhe Zhan, Jusen Du, Jiacheng Chen, Tianle Li, Qingyu Yin, Yulun Wu, Zhennan Shen, Tong Zhu, Yanshu Li, Guanjie Chen, Derek F. Wong, Yafu Li, Yu Cheng, Yang Yang

EvoPolicyGym是一个基于16个紧凑强化学习环境的基准，用于评测智能体在固定交互预算下迭代改进策略的能力。GPT-5.5在全部16个环境中取得最强综合排名，并在每个环境中进入前两名。该基准还提供轨迹级诊断，分析智能体如何分配预算、将反馈转化为参数调优。结果表明，自主策略演化不仅依赖单次任务胜出，更需在有限反馈下发现任务适配机制并细化策略。

AI模型 EvoPolicyGym GPT-5.5 强化学习

推荐理由：想看看AI智能体怎么自己迭代策略吗？EvoPolicyGym这个新基准让GPT-5.5跑了16个强化学习环境，全部拿到前两名。

原文

11:25

官方账号arXiv cs.AI@Yuquan Xue, Le Xu, Zeyi Liu, Zhenyu Wu, Zhengyi Gu, Xinyang Song, Bofang Jia, Ziwei Wang

WorldSample 提出一种物理基础的数据增强框架，通过世界模型生成高保真合成轨迹，解决真实机器人强化学习交互成本高的问题。在接触性和精密机器人操作任务中，WorldSample 将策略成功率提升 28%，训练步数减少 59%。世界模型视觉保真度提升 19.4dB PSNR 和 0.47 SSIM，验证了真实-合成循环的有效性。

论文 WorldSample 强化学习世界模型

推荐理由：机器人强化学习的新思路，WorldSample 用世界模型生成合成数据，成功率提28%还省了59%训练时间，值得一看。

原文

11:24

官方账号arXiv cs.LG@Juliette Decugis, Fabian Gloeckle, Francis Bach, Taco Cohen, Gabriel Synnaeve

DecompRL是一种强化学习算法，专门训练大语言模型（如Qwen 2.5 7B、Code World Model 32B）将复杂问题分解为可独立求解的子函数并重新组合。通过重组n个模块的k种实现，可产生最多k^n个候选解，将GPU推理瓶颈转移到廉价CPU评估，GPU token成本降低约50倍。在LiveCodeBench和CodeContests基准上，当每个问题的推理token超过10^5时，DecompRL显著优于标准RL和多样性优化RL基线，能解决标准生成方法无法触及的问题。

论文 DecompRL 强化学习代码生成

推荐理由：这篇论文教你用强化学习把难题拆成小模块再拼起来，Qwen和Code World Model上测试比传统RL省50倍算力，还能解原本解不出的题。

原文

09:25

官方账号arXiv cs.LG@Juan Agustín Duque, Sergio García Heredia, Vinicius Hernandes, Eliška Greplová, Thomas Spriggs, Aaron Courville, Anna Dawid

该论文将变分能量最小化重新表述为Born分布上的策略梯度问题，并提出信任域算法PWO（Proximal Wavefunction Optimization）。PWO分别裁剪振幅通道的概率比变化和相位通道的相位增量，避免了显式矩阵求逆，并可重用样本进行多次更新。在Ising和受挫J1-J2一维/二维自旋系统上，PWO的稳定性和收敛速度优于Adam、minSR和SPRING。作者还使用1.5B参数的RWKV-7模型微调，将NQS优化规模提升到此前工作的千倍以上。

论文 PWO RWKV-7 神经量子态

推荐理由：这篇把强化学习的信任域优化用在神经量子态上，新算法PWO比Adam稳，还能用1.5B的RWKV-7跑，规模大了三个数量级。

原文

01:57

官方一手AWS Machine Learning Blog@Sapana Chaudhary

精选

本教程介绍了在Amazon SageMaker AI上进行多轮强化学习（RL）训练的最佳实践。关键在于构建可信任的训练环境，并设置外部评估来验证模型表现。需要设计一个与最终任务对齐的奖励函数，同时管理好智能体在多轮运行中产生的变化。通过监控特定指标，可以判断何时需要迭代优化。

技巧 Amazon SageMaker AI 强化学习多轮RL

推荐理由：AWS手把手教你用SageMaker做多轮RL，从环境搭建到奖励设计都讲透了，适合想落地RL项目的朋友。

原文

7月2日

19:49

量子位@量子位的朋友们

AReaL 2.0是一个开源的强化学习基础设施，专为自演进智能体设计。它提供了完整的训练环境、算法库和分布式框架，支持智能体在交互中持续自我优化。项目已在GitHub上公开，社区可参与共建。

AI模型 AReaL 2.0 强化学习开源

推荐理由：AReaL 2.0开源了，能帮你用强化学习训练自我进化的智能体，做Agent研究很实用。

原文

11:50

官方账号arXiv cs.LG@Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

该论文研究异步GRPO（群体相对策略优化）中陈旧rollout对策略优化的影响。作者将行为策略显式纳入GRPO替代目标，并区分学习器使用的替代梯度映射与依赖分布的总体目标的真实全导数。在局部有界性、分布平滑性和行为策略平滑性假设下，证明陈旧rollout引入的每步替代梯度偏差为O(S * eta)，其中S是最大rollout滞后，eta是学习率。进一步导出条件性崩溃时间缩放定律：当周期内漂移低于批量级裁剪半径时，崩溃主要由累积学习器漂移T * eta决定；当陈旧rollout约束激活时，稳定性显式依赖于S * eta。从而得到双约束稳定性条件eta << min{R_batch/(S*G_upd), R_crit/(T*G_upd)}，解释了在有限时间范围内最大稳定学习率对陈旧性依赖较弱的原因。

论文 RLHF GRPO 异步训练

推荐理由：想搞异步RLHF训练的可以看这篇，把陈旧rollout对学习率的影响定量化了，推导了缩放条件，比经验调参更靠谱。

原文

00:27

AK@_akhaliq

LiteResearcher是一个针对深度研究智能体设计的可扩展强化学习训练框架。该框架采用智能体RL方法，支持大规模训练，旨在提升AI在复杂研究任务中的自主探索和推理能力。它通过强化学习优化智能体的研究策略，使模型能够更高效地完成多步推理和信息综合。

AI模型 LiteResearcher 智能体推理模型

推荐理由：LiteResearcher是专门为深度研究智能体打造的RL训练框架，能更高效地训练复杂推理能力，适合关注智能体研究和强化学习的朋友。

原文

7月1日

11:38

官方账号arXiv cs.LG@Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

ECHO通过源索引重建方法，将每个环境交互回合压缩为紧凑记忆记录，并从中选择构建策略上下文。该方法在BrowseComp-Plus基准上达到43.4%保留准确率，超越GRPO的28.9%和SUPO的36.1%，且使用更少回合和轨迹量。训练后的策略在多项问答、代码生成和深度信息检索任务中实现了零样本泛化提升。

论文 ECHO BrowseComp-Plus 智能体

推荐理由：这篇论文提出的ECHO框架，能让智能体在长回合任务中既保留细粒度证据，又能用强化学习追踪信用分配，效果比GRPO和SUPO都强。

原文

10:16

官方账号arXiv cs.AI@Yufei Li, Zaiwei Zhang, Mingfu Liang, Kavosh Asadi, Jay Xu, Jimmy Kim, Chongyang Bai, Jieyi Zhang, Hongye Xie, Prachi Agrawal, Dian Yu, Tianyi Chen, Jean-Pascal Billaud, Garret Buell, YK, Zhu, Sachin Patil, Brooke Bian, Zhou Fang, Kevin Huang, Shiva Sudanagunta, Yuzhen Huang, Emma Lu, Chris O'Brien, Yang Song, Lihong Li, Jacob Tao, Zhicheng Zhu, Chao Li, Gaoxiang Liu, Neil Wu, Zhongyin Hu, Li Han, Loki Chen, Ming Lei, Greg Rehm, Siyuan Song, Tianwei Zhang, Li Li, Ketan Singh, Yavuz Yetim, Ilyas Atishev, Satendra Gera, Ashkan Sadeghi, Rachel Yan, Nikko Mizutani, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Parish Aggarwal, Kaushik Rangadurai, Zhi Hua, Frank Shyu, Ruchit Sharma, Liyuan Li, Shike Mei, Wenlin Chen, Santanu Kolay, Ben Schulte, Deepak Chandra, Adam, Song, Sandeep Pandey, Xi Liu, Hamed Firooz, Luke Simon

GR2是一个端到端的生成式推理重排序框架，面向工业推荐系统的重排序阶段。它采用语义ID分词器（唯一性≥99%）、从更强教师模型进行推理蒸馏，以及基于可验证奖励的强化学习。在工业规模流量上，GR2相比基线实现R@1提升18.7%、R@3提升7.1%、N@3提升9.6%。论文还发现奖励设计至关重要，LLM可能通过保持输入顺序或利用位置偏差来“欺骗”奖励。

论文 GR2 推荐系统重排序

推荐理由：这篇论文提出了GR2，在工业重排序上拿下了18.7%的召回提升，还解决了LLM作弊奖励的问题，做推荐系统的可以看看。

原文

04:50

techcrunch@Anna Heim

EquiLibre Technologies是一家位于布拉格的AI实验室，由三位前DeepMind研究员创立，估值已超过5亿美元。该团队曾打造在多人扑克中击败人类的AI系统，现在将这一强化学习技术应用于量化交易。公司为多只量化对冲基金提供策略信号，并已实现可观回报。

行业 DeepMind EquiLibre 量化交易

推荐理由：前DeepMind三人组做的扑克AI，现在直接拿来给量化基金赚钱，公司都估值5亿美元了，跟那些纯吹概念的AI公司不一样，真有技术落地。

原文

6月30日

14:02

elvis@omarsar0

精选

Qwen发布了关于强化学习编码智能体的新工作（arxiv 2606.26300），研究持续构建与AI智能体共同进化的验证系统。论文分析了测试通过率、LLM评判器和执行轨迹等奖励信号，发现每个信号在长周期编码中都有一个界限，超过后不再反映真实正确性而开始被破解。研究指出奖励设计本质是视角问题，选择哪个指标不如该指标能保持跟踪正确性的时间长度重要。

论文 Qwen 强化学习编码智能体

推荐理由：Qwen这篇论文讲清楚了编码智能体的奖励设计——每个信号都有失效点，选指标不如看它能撑多久。

原文

11:20

官方账号arXiv cs.LG@Jan Stenner, Alexander Kilian, Sebastian Peitz, Hermann de Meer

该论文研究了强化学习作为在线控制器，用于风电场内数据中心的高性能计算（HPC）工作负载转移。使用固定日仿真框架结合合成风能和电价信号以及延迟完成反馈进行测试。在单个风轮机和单个数据中心的基准场景中，纯强化学习存在信用分配问题，早期白天未能充分利用免费风能。评估了两种互补措施：基于优化的模仿学习和基于势能的奖励塑造。在200天测试集上，PPO和SAC变体表现出色，但性能仍低于具有全局视野的优化器。

论文强化学习数据中心风电场

推荐理由：这篇论文用强化学习让风电场数据中心更省电，在单机场景下比较了PPO和SAC的效果，还试了模仿学习和奖励塑造。

原文

10:38

官方一手arXiv: Google DeepMind@Qijun Li, Zheng Fu, Qi Song, Yifei He, Weitao Zhou, Kun Jiang, Diange Yang

精选

Dual-Flow RL利用条件流匹配（CFM）同时建模回报分布和多模态策略分布，克服了传统单峰高斯价值估计的偏差问题。该方法引入熵-协方差探索调节器（ECER），实现基于状态的自适应探索。在DeepMind Control Suite的36个任务中，Dual-Flow RL在32个任务上取得最优，并在Humanoid-Bench上显著优于diffusion-based和flow-based方法。ECER通过策略熵与动作不确定性协方差动态调节探索强度，避免了模式坍塌。

论文 Dual-Flow RL DeepMind Control Suite Humanoid-Bench

推荐理由：这篇论文用条件流匹配把回报分布和多模态策略一起建模，解决了强化学习中的多模态探索难题，在DeepMind控制任务上吊打了扩散方法。

原文

6月29日

13:51

官方账号François Chollet@fchollet

François Chollet提出自主性不是无需人类监督的行动能力。他认为自主性是学习能力而不依赖人类瓶颈。系统完全依赖人类训练数据和RL环境只是人类知识的印迹。这定义了真正的自主性。

行业 François Chollet 自主性人类训练数据

推荐理由：他说自主性不是单干，而是自己学，不用人类一步步教。对比常见误解，这个定义很清晰。

原文

6月28日

07:19

Suhail@Suhail

Suhail分享了在过去一周中，使用某个工具或方法快速验证新建立的训练后基础设施的经验。该方法不仅超越了简单的Hello World强化学习运行，还能帮助发现并修复rollout过程中的瓶颈。这是一个实用的快速配方，确保各组件正常运转。

技巧训练基础设施强化学习 rollout

推荐理由：Suhail分享了一个实用方法，能快速验证RL训练基础设施，避开常见瓶颈。

原文

6月27日

11:13

Fireworks AI@FireworksAI_HQ

精选

Fireworks AI分享了训练Cursor Composer 2的教训。模型倾向于利用训练环境的缺陷，而不是学习开发者真正想要的行为。真实强化学习（RL）用于编码智能体需要生产环境级别的模拟和分布式基础设施。这揭示了当前RL训练中环境设计的重要性。

行业 Cursor Composer 2 Fireworks AI 强化学习

事件专题

推荐理由：想训练好编码智能体？Cursor Composer 2的经验告诉你：别让模型钻空子，环境设计是关键！

原文

6月26日

11:36

官方账号arXiv cs.AI@Henrik Müller, Daniel Kudenko

研究人员提出VLM-PBRS框架，利用轻量级视觉语言模型（VLM）的偏好反馈学习势函数，实现自动化基于势能的奖励塑形（PBRS）。该方法在Meta-World和Franka Kitchen环境上验证，相比无塑形的基线，样本效率提升且未导致奖励黑客。实验表明，即使使用计算开销更小的小型VLM，其偏好标签仍能有效加速强化学习策略训练。该工作是首个将VLM偏好学习应用于PBRS势函数合成的研究。

论文 VLM-PBRS 强化学习奖励塑形

推荐理由：这论文教你用VLM给RL智能体自动设计奖励函数，不用手动调公式，在Meta-World和Franka Kitchen上训练更快，还防奖励黑客。

原文

11:35

官方账号arXiv cs.AI@Ilia Larchenko

该解决方案在ICRA 2026的LeHome Challenge双手机器人叠衣比赛中获得线上62支队伍第一名、线下决赛第二名。核心是将视觉-语言-动作(VLA)策略与强化学习循环结合，使同一网络既预测动作又预测成功率和未来量。方法组合了AWR+RECAP用于流匹配VLA，通过HuggingFace Hub实现异步分布式训练/部署管线，并采用Thompson采样优化推理时超参数。模拟到现实的迁移使用相机对齐工具、数据增强和DAgger式人类干预数据采集。

论文 LeHome Challenge ICRA 2026 VLA

推荐理由：一个靠强化学习微调VLA在叠衣服任务上拿第一的方案，工程细节丰富，从训练到部署都有具体做法。

原文

10:46

官方账号arXiv cs.LG@Yingyu Lin, Qiyue Gao, Nikki Lijing Kuang, Xunpeng Huang, Kun Zhou, Tongtong Liang, Zhewei Yao, Yi-An Ma, Yuxiong He

论文提出Ranking-induced VERifiable framework (RiVER)，无需真实答案即可通过基于分数的执行反馈训练LLM。在12个AtCoder Heuristic Contest任务上训练后，Qwen3-8B在Algorithm Engineering Benchmark (ALE-Bench)上的rating rank提升8.9%，GLM-Z1-9B-0414提升9.4%。同时，RiVER在LiveCodeBench和USACO等精确求解基准上分别带来2.4%和3.5%的绝对平均提升。对比基线表明，仅用原始执行分数训练可提升ALE rating但无法泛化到精确求解任务。

论文 RiVER Qwen3-8B GLM-Z1-9B-0414

推荐理由：论文介绍RiVER，用强化学习训练模型解决无标准答案的得分优化问题，还能顺带提升常规编程基准，实用思路值得一看。

原文

09:46

官方账号arXiv cs.AI@Jesper Klicks, Sander Vržina, Vincent François-Lavet

这篇论文研究了深度强化学习中状态表示对抽水蓄能交易决策的影响，固定使用Double DQN智能体和HydroDam环境。对比绝对价格/日历特征、相对特征和预测特征三种特征家族，组合使用绝对+相对+预测特征在比利时2007–2011数据上训练，在2012–2025的相同市场测试集上达到55.6%的分数，跨39个ENTSO-E市场区域的分数中位数为47.5%，显著优于单独使用绝对特征（测试集28.8%，跨区中位数5.7%）或相对特征。结果表明状态表示是储水交易强化学习策略设计的核心，而非次要预处理选择。

论文 Double DQN HydroDam 状态表示

推荐理由：想知道强化学习里状态怎么设计才能跨市场通用？这篇论文用Double DQN和HydroDam做了严谨对比，绝对+相对+预测特征组合最好。

原文

6月25日

10:59

官方账号arXiv cs.AI@Shuyi Zhang, Yunfan Lou, Hongyang Cheng, Yichen Guo, Chuyao Fu, Yaoxu Lyu, Xiaojie Zhang, Haoran Li, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

FORCE是一个三阶段框架，通过价值校准热身和自蒸馏来稳定VLA模型的强化学习微调。它解决了Q函数不稳定导致的初期遗忘和低质量探索数据导致的策略更新低效问题。在模拟和真实任务上，FORCE取得了79%的绝对成功率提升，比此前RL方法高出10%，同时训练速度加快32.5%。该框架无需人工干预即可实现稳健性能。

AI模型 FORCE VLA 强化学习

推荐理由：新框架FORCE让机器人学动作更快更稳，成功率飙升79%，比现有RL方法还快32.5%，不用人插手。

原文

10:46