RL 相关 AI 资讯 · AI 热点

8月19日

11:42

官方一手arXiv: OpenAI@Ayoub Kirouane, Christos Petrocheilos

研究对三个前沿专家混合模型（阿里巴巴、OpenAI、NVIDIA，3.6-4.0B参数）进行微调，使其在低资源语言中推理。准确率基准显示几乎无变化，基准本身存在噪声（随机种子变动导致分数变化7.7点）。基础模型从不使用希腊语思考（0/1000推理轨迹），而SFT后98%的推理使用问题语言，且四个模型的语法判断均有提升。SFT无法修复自身缺陷，但强化学习可显著改善格式跳过和答案泄漏问题。

论文 SFT RL 低资源语言

事件专题

推荐理由：论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

原文

11:40

官方账号arXiv cs.LG@Christophe D. Hounwanou, John Emeka Eze, Yaé U. Gaba

该研究结合大型语言模型与强化学习，将LLM规划器和RL控制器架构形式化为目标增强马尔可夫决策过程。研究表明，当LLM的状态进展分数作为有界势函数时，即使LLM评分不准确，形成的奖励塑造项也能保持最优策略集。研究者在小型MDP上验证了结果，包括四种势能配置，其中一种对抗性配置放大到基础奖励幅度的20倍。

论文 LLM RL MDP

推荐理由：这篇论文提出了LLM反馈的奖励塑造方法，即使在LLM评分不准确时也能保持最优策略，比传统方法更可靠。

原文

7月24日

01:13

官方账号NVIDIA AI@NVIDIAAI

72°

NVIDIA AI展示使用PrimeIntellect托管RL训练，将Nemotron 3 Nano在数学任务上的准确率从22%提升至91%，总成本低于5美元。工作流程包括基线检查、奖励训练和重新测试，最终输出可下载的LoRA适配器。该方案可通过修改一行代码扩展至Nemotron 3 Super和Ultra。

AI模型 Nemotron 3 Nano PrimeIntellect RL

事件专题

推荐理由：花5美元用托管RL把Nemotron 3 Nano的数学准确率从22%拉到91%，还能一键扩展到更大模型，太实用了！

原文

7月22日

11:40

官方账号arXiv cs.LG@Philip John, Eloghosa Ikponmwoba, Pinaki Pal, Opeoluwa Owoyele

该研究提出一个强化学习框架，用于优化液态燃料反应器网络，提高贫油熄火(LBO)预测精度。现有方法依赖人工启发式或输入空间距离度量，而该方法是目标导向的，在聚类形成时明确考虑LBO预测准确率。框架采用多阶段聚类-分类策略：先k-means生成大量均匀微簇，再由演员-评论家RL代理合并为最优反应器区域。使用Jet-A机理(119种物种，841个反应)验证，RL框架比k-means具有更好预测保真度，捕捉正确LBO趋势，并实现高保真模型的大幅加速。该RL驱动方法作为计算高效的降阶建模技术，可补充高保真仿真用于快速设计空间探索。

论文 RL k-means 贫油熄火

推荐理由：这篇论文用强化学习来优化反应器网络预测贫油熄火，比传统k-means更准还快，适合搞燃烧仿真的人看看。

原文

7月9日

09:34

官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe

论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。

论文 Transformer RL rejection fine-tuning

推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

原文

7月8日

10:05

官方账号arXiv cs.LG@Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

这篇论文研究了奖励函数设计对基于强化学习（RL）的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族，在48种配置下训练，评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量，输出变异性降低6倍以上。等权重奖励始终优于定向加权，后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互，例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。

论文 RL BPMN Llama 3.1

推荐理由：想知道怎么给LLM设计奖励函数来提升生成质量？这篇论文用38个指标和两个模型做了系统对比，结论很具体。

原文

7月7日

23:36

Harrison Chase@hwchase17

Viv在一篇博客中指出，无论通过强化学习还是工程优化，改进智能体的核心都转化为对轨迹（traces）的数据挖掘问题。该观点将智能体开发重新定义为数据处理任务，并讨论了如何利用轨迹数据提升性能。博客未涉及具体基准或版本号，但提出了方法论层面的见解。

技巧智能体 RL 轨迹

推荐理由：Viv说改智能体就是挖轨迹数据，这角度挺新，做Agent的可以看看。

原文

11:39

官方账号arXiv cs.AI@Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

LLM-as-a-Verifier通过计算评分token logits的期望生成连续分数，替代传统的离散评分方法。该框架从评分粒度、重复评估和准则分解三个维度缩放验证能力，在Terminal-Bench V2上达86.5%，SWE-Bench Verified上达78.2%，RoboRewardBench上达87.4%，MedAgentBench上达73.3%。其细粒度信号可用于任务进度估计和RL训练，在SAC和GRPO上提升样本效率。论文还提供了Claude Code扩展，帮助开发者监控代理系统。

论文 LLM-as-a-Verifier 验证框架智能体

事件专题

推荐理由：这篇论文提出一种不依赖额外训练的验证框架，用连续分数替代离散评分，在四个agent基准上刷新了成绩，还顺手提升了RL样本效率。

原文

7月2日

15:20

AI Will@FinanceYF5

精选

开发者使用Fable 5为强化学习训练出的生物添加了毛发和动态声音。声音并非录制，而是直接从神经网络的激活值实时生成。训练过程基于JAX和MuJoCo模拟器，渲染使用three.js和WebGPU。最终效果看起来像活物在地板上爬行，引发对AI艺术与研究边界的讨论。

AI模型 Fable 5 RL JAX

事件专题

推荐理由：这个项目把RL训练的活物做得超逼真，毛发和声音都来自神经网络激活值，技术堆叠很酷，值得看一眼。

原文

6月29日

19:47

eric zakariasson@ericzakariasson

73°

Elon Musk在推文中透露，Cursor团队为v9模型的SFT和RL训练做出了重要的工程贡献。当前1.5T参数量的模型已通过补充训练加入Cursor数据。而两周前开始的2T参数量训练在数据范围和规模上大幅改进，训练配方也获得多项升级，预计7月底完成，8月发布。

AI模型 Elon Musk Cursor v9

事件专题

推荐理由：Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

原文

6月28日

07:07

Suhail@Suhail

精选

Hamish Ivison等人发布了Tmax，一个基于强化学习的开源终端智能体模型。在默认设置和65k token预算下，Tmax优于之前的开源终端使用工作。团队公开了所有训练数据、模型权重和rollouts，方便复现和进一步研究。

AI模型 Tmax RL terminal agent

推荐理由：Tmax把终端智能体的RL训练配方全开源了，65k token里就跑赢之前的工作，想自己训智能体的可以抄作业。

原文

6月23日

13:11

官方账号arXiv cs.AI@Raymond Tsao, Andrew Wagenmaker, Sergey Levine

该论文提出通过成功访问匹配（Success Visitation Matching）将稀疏的结果奖励（0/1）转化为密集的过程奖励。方法训练一个判别器来区分成功和失败的轨迹，并激励RL策略匹配成功轨迹的状态-动作访问。理论证明该方法不改变最优策略。在机器人控制策略微调中，模拟和真实操作任务上的收敛速度均显著快于直接使用稀疏奖励的基线。

论文 RL 稀疏奖励过程奖励

推荐理由：这篇论文把稀疏奖励变密集，让RL学得快。机器人实验证明比原来快很多，实用性强。

原文

6月21日

00:21

orange.ai@oran_ge

73°

OpenAI 发布新论文《Beneficial RL》，研究对齐训练中好行为的泛化能力。实验发现，用RL在对话数据上训练模型诚实、认知谦逊、可纠正等特质后，在44个训练未见的评测上，模型欺骗、谄媚、有害建议等行为均下降。仅用健康领域数据训练，非健康领域也有效。对抗性提示和恶意微调更难使模型变坏，但正常指令仍可执行。

论文 OpenAI RL 对齐

事件专题

推荐理由：OpenAI 这篇论文很有意思：用 RL 给模型‘教好’会泛化到所有领域，而且抗忽悠能力变强了，像给人打了一剂道德疫苗。

原文

6月19日

07:44

orange.ai@oran_ge

86°

OpenAI发现对齐大模型时存在涌现失调现象，即坏行为会泛化。他们反向实验用RL训练模型诚实、谦逊、可纠正等特质，仅混入小部分此类数据。结果在训练领域内模型变得更诚实透明；在44个独立评测（未见过）中，欺骗、谄媚、有害建议等行为全面下降，即使只用健康数据训练，非健康领域也受益。模型在对抗性提示和恶意微调下更坚韧，正常指令仍可听从。

论文 OpenAI RL 涌现失调

事件专题

推荐理由：OpenAI这篇论文反直觉：用RL教模型做好事，坏行为自己就减少了。实验覆盖44个新场景，效果还抗攻击。值得一看。

原文