#强化学习

卫星避碰现在靠人工和规则，越来越难。这篇用PPO强化学习，在模拟里成功率97.5%，比传统方法高出一大截，代码还开源了。

想找能处理噪声数据、还能告诉你不确定性有多大的回归方法？ERRLESS用强化学习从后验里采样表达式，Feynman基准上表现不错，表达式还短。

想让导航策略适应各种环境参数？这篇论文的自动课程生成方法在Car Racing和Bipedal Walker上打败了SPRL等基线，值得一看。

开源模型Fisher-R1专治假设检验，比GPT-5.4和DeepSeek-V4-Pro都强，最难任务能提26%，搞数据分析的可以看看。

医疗AI训练新方法ResidencyRL，模拟临床对话，诊断准确率涨7%，漏诊率降31%，专家更看好。

这篇论文把WPG在LQ问题上化简成ODE，证明了指数收敛，做控制理论的可以看看。

这个新框架TRIAL能让智能体强化学习更高效，在多个任务上超过GRPO，成功率提升近19个百分点，搞RL的可以看看。

Aftab架构在Atari-57上拿到IQM 6.479，比标准PQN基线强不少，代码和训练配置都开源了，搞RL的可以看看。

EnvACE 让模型自己脑补环境的反馈，省去搭建外部模拟器，四个基准上还赢了。想低成本练智能体的可以看看。

OG-SPR把两种预测目标结合起来，28个控制任务上超过现有方法，难任务提升明显。搞视觉RL的可以看看。

这篇论文提出 RRC，能把生成式奖励模型的排序结果转成强化学习能用的信号，在对话和推理任务上比现有方法更稳定地提升训练效果。

这篇论文用强化学习让拓扑图动态演化，既能压缩复杂度又能保留关键结构，比静态分析多了一条时间维度。

iARCS 用强化学习让 3D 场景生成器听懂自然语言要求，走路、够东西这些约束都能满足，还能提升基础生成器。

这份论文把探索奖励和记忆架构放一起测，发现奖励结构不同，效果天差地别，做RL的值得看看。

这篇论文提出RAIL，把干预选择当成在线学习问题，让模型在有限预算下学到更有效的rollout，适合做RL后训练的人看。

ORACLE开源了：一个模型按偏好向量调模拟电路，不用重训；2000个用例上比现有方法快20-104倍。

这篇论文用自验证循环替代人工标注，把世界模型的长期漂移降了44%，复合动作准确率翻近4倍，做视频生成或具身智能的可以看看。

这篇论文提出了一种不用人工任务标注的训练方法，让LLM智能体自己从环境里找目标学，在ALFWorld和ScienceWorld上有效，还能给后续强化学习打底子。

TurnSight 把工具推理的强化学习拆到回合级，用事后视角筛信号，三个基准上都有效，代码开源了。

SAFT用结构先验替代人工标注，给VLM奖励模型降噪，训练收敛更快，EPIC距离也更好了。

DiagLoop只用合成数据就把8B诊断模型练到超过专有模型，工业系统+11.6分，疾病分类+5.5分，可以看看它的反事实数据飞轮。

TCPO把验证器分数拆成每一步的信用，让模型知道哪个回合真正有用，在数学、代码和Agent任务上都有效果。

GRPO以前只看整体得分，现在MCR-GRPO能逐个框算功劳，定位和分割都更准了。

这是篇新论文，LEMUR能直接从多人偏好学多目标策略，不用设奖励函数，基准上比现有方法强。

这篇论文用Lyapunov函数严格证明了策略梯度在扩散环境老虎机里的收敛性，遗憾界做到O(log T)，搞理论的人可以看看。

DreamQAS用强化学习省真实VQE调用，BeH2少10.6倍，五任务里四个误差最低，做量子计算可看看。

如果你做强化学习微调，这篇论文告诉你预训练Q函数可能没用，还给了更高效的IPE方法，实测效果更好。

如果你做强化学习，特别关注世界模型，这篇论文提出Reinformed Dreamer，用潜在引导训练不对称表示，比Informed Dreamer更稳定地超越Dreamer。

一篇教你用强化学习优化代码执行速度的论文，针对测量噪声和奖励稀疏问题设计了DMC-Optim基准和三阶段方法，让Qwen 2.5 7B的pass@1从18%提到31%，CWM 32B提到50%。

想用强化学习训开源模型？看看这个Prime Intellect实操教程，Nemotron Labs手把手带你跑通RL训练。

官方账号NVIDIA AI@NVIDIAAI原文

想自己训练AI智能体？HuggingFace出了第三期教程，教你用强化学习训练本地/开源模型当智能体，手把手实操。

官方账号Hugging Face@huggingface原文