RL 相关 AI 资讯 · AI 热点

7月9日

09:34

官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe

论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。

推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

原文

7月8日

10:05

官方账号arXiv cs.LG@Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

这篇论文研究了奖励函数设计对基于强化学习（RL）的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族，在48种配置下训练，评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量，输出变异性降低6倍以上。等权重奖励始终优于定向加权，后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互，例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。

论文 RL BPMN Llama 3.1 Qwen 2.5 流程模型

推荐理由：想知道怎么给LLM设计奖励函数来提升生成质量？这篇论文用38个指标和两个模型做了系统对比，结论很具体。

原文

7月7日

23:36

Harrison Chase@hwchase17

Viv在一篇博客中指出，无论通过强化学习还是工程优化，改进智能体的核心都转化为对轨迹（traces）的数据挖掘问题。该观点将智能体开发重新定义为数据处理任务，并讨论了如何利用轨迹数据提升性能。博客未涉及具体基准或版本号，但提出了方法论层面的见解。

技巧智能体 RL 轨迹数据挖掘

推荐理由：Viv说改智能体就是挖轨迹数据，这角度挺新，做Agent的可以看看。

原文

11:39

官方账号arXiv cs.AI@Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

LLM-as-a-Verifier通过计算评分token logits的期望生成连续分数，替代传统的离散评分方法。该框架从评分粒度、重复评估和准则分解三个维度缩放验证能力，在Terminal-Bench V2上达86.5%，SWE-Bench Verified上达78.2%，RoboRewardBench上达87.4%，MedAgentBench上达73.3%。其细粒度信号可用于任务进度估计和RL训练，在SAC和GRPO上提升样本效率。论文还提供了Claude Code扩展，帮助开发者监控代理系统。

论文 LLM-as-a-Verifier 验证框架智能体 SWE-Bench RL

推荐理由：这篇论文提出一种不依赖额外训练的验证框架，用连续分数替代离散评分，在四个agent基准上刷新了成绩，还顺手提升了RL样本效率。

原文

7月2日

15:20

AI Will@FinanceYF5

精选

开发者使用Fable 5为强化学习训练出的生物添加了毛发和动态声音。声音并非录制，而是直接从神经网络的激活值实时生成。训练过程基于JAX和MuJoCo模拟器，渲染使用three.js和WebGPU。最终效果看起来像活物在地板上爬行，引发对AI艺术与研究边界的讨论。

AI模型 Fable 5 RL JAX MuJoCo three.js

推荐理由：这个项目把RL训练的活物做得超逼真，毛发和声音都来自神经网络激活值，技术堆叠很酷，值得看一眼。

原文

6月29日

19:47

eric zakariasson@ericzakariasson

73°

Elon Musk在推文中透露，Cursor团队为v9模型的SFT和RL训练做出了重要的工程贡献。当前1.5T参数量的模型已通过补充训练加入Cursor数据。而两周前开始的2T参数量训练在数据范围和规模上大幅改进，训练配方也获得多项升级，预计7月底完成，8月发布。

AI模型 Elon Musk Cursor v9 SFT RL

推荐理由：Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

原文

6月28日

07:07

Suhail@Suhail

精选

Hamish Ivison等人发布了Tmax，一个基于强化学习的开源终端智能体模型。在默认设置和65k token预算下，Tmax优于之前的开源终端使用工作。团队公开了所有训练数据、模型权重和rollouts，方便复现和进一步研究。

AI模型 Tmax RL terminal agent 开源模型智能体

推荐理由：Tmax把终端智能体的RL训练配方全开源了，65k token里就跑赢之前的工作，想自己训智能体的可以抄作业。

原文

6月23日

13:11

官方账号arXiv cs.AI@Raymond Tsao, Andrew Wagenmaker, Sergey Levine

该论文提出通过成功访问匹配（Success Visitation Matching）将稀疏的结果奖励（0/1）转化为密集的过程奖励。方法训练一个判别器来区分成功和失败的轨迹，并激励RL策略匹配成功轨迹的状态-动作访问。理论证明该方法不改变最优策略。在机器人控制策略微调中，模拟和真实操作任务上的收敛速度均显著快于直接使用稀疏奖励的基线。

论文 RL 稀疏奖励过程奖励机器人控制

推荐理由：这篇论文把稀疏奖励变密集，让RL学得快。机器人实验证明比原来快很多，实用性强。

原文

6月21日

00:21

orange.ai@oran_ge

73°

OpenAI 发布新论文《Beneficial RL》，研究对齐训练中好行为的泛化能力。实验发现，用RL在对话数据上训练模型诚实、认知谦逊、可纠正等特质后，在44个训练未见的评测上，模型欺骗、谄媚、有害建议等行为均下降。仅用健康领域数据训练，非健康领域也有效。对抗性提示和恶意微调更难使模型变坏，但正常指令仍可执行。

论文 OpenAI RL 对齐 AI安全有益强化学习

推荐理由：OpenAI 这篇论文很有意思：用 RL 给模型‘教好’会泛化到所有领域，而且抗忽悠能力变强了，像给人打了一剂道德疫苗。

原文

6月19日

07:44

orange.ai@oran_ge

86°

OpenAI发现对齐大模型时存在涌现失调现象，即坏行为会泛化。他们反向实验用RL训练模型诚实、谦逊、可纠正等特质，仅混入小部分此类数据。结果在训练领域内模型变得更诚实透明；在44个独立评测（未见过）中，欺骗、谄媚、有害建议等行为全面下降，即使只用健康数据训练，非健康领域也受益。模型在对抗性提示和恶意微调下更坚韧，正常指令仍可听从。

论文 OpenAI RL 涌现失调对齐 AI安全

推荐理由：OpenAI这篇论文反直觉：用RL教模型做好事，坏行为自己就减少了。实验覆盖44个新场景，效果还抗攻击。值得一看。

原文