RL训练相关 AI 资讯 · AI 热点

7月3日

01:57

01:57

官方一手AWS Machine Learning Blog@Sapana Chaudhary

精选

本教程介绍了在Amazon SageMaker AI上进行多轮强化学习（RL）训练的最佳实践。关键在于构建可信任的训练环境，并设置外部评估来验证模型表现。需要设计一个与最终任务对齐的奖励函数，同时管理好智能体在多轮运行中产生的变化。通过监控特定指标，可以判断何时需要迭代优化。

技巧 Amazon SageMaker AI 强化学习多轮RL 最佳实践 RL训练

推荐理由：AWS手把手教你用SageMaker做多轮RL，从环境搭建到奖励设计都讲透了，适合想落地RL项目的朋友。

7月2日

12:35

12:35

官方账号arXiv cs.LG@Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong

本文基于Qwen3和Qwen2.5共7个模型，使用GRPO、GiGPO、Dr. GRPO三种RL算法，在数学推理、代码生成和智能体决策任务上实验。研究发现训练单层Transformer即可恢复全参数RL训练大部分甚至全部改进。作者引入“层贡献”指标量化单层训练相比全参数训练的收益比例。结果显示RL收益高度集中于少数中间层，输入输出层贡献显著较低。

论文 Qwen3 GRPO Transformer RL训练推理模型

推荐理由：这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果，还揭秘中间层才是关键，刷新认知。

6月26日

08:55

08:55

Fireworks AI@FireworksAI_HQ

精选

Fireworks 宣布对 NVIDIA Nemotron 3 的强化学习微调功能上线，首批支持 Nemotron 3 Super 的 LoRA 微调。训练采用 GRPO 算法，可在一处平台完成训练和部署。计费方式改为按 GPU 小时而非按 token，解决了长多轮对话成本不可控的问题。

AI产品 Nemotron 3 Fireworks 微调 RL训练 GRPO

推荐理由：Fireworks 刚上线了 Nemotron 3 的 RL 微调，按 GPU 小时计费不怕长对话烧钱，用 GRPO 训练一条龙搞定。

6月17日

08:30

08:30

官方账号vLLM@vllm_project

SemiAnalysis对强化学习训练系统进行深度分析，指出效率关键在于匹配训练器与生成器的吞吐量。研究基于vLLM+verl框架，@KaichaoYou和Ao Shen进行了沙箱扩展实验。该工作建立在@KaichaoYou早期在OpenRLHF、verl、slime等框架的RL集成工作之上。

论文 SemiAnalysis vLLM verl OpenRLHF RL训练

推荐理由：这篇分析硬核拆解RL训练效率瓶颈，vLLM+verl的沙箱实验值得一看。

03:02

03:02

官方账号LangChain@LangChainAI

LangChain 推出新功能，支持多步骤工作流中状态跨工具调用持久化。提供突发容量，可在秒内扩展到数千个并行环境，适用于强化学习训练或评估。还增强了对用户输入可能被执行的场景的处理能力。这些特性面向需要可靠状态管理和高速扩展的复杂 Agent 与批量评测场景。

AI产品 LangChain 工作流状态持久化并行扩展 RL训练

推荐理由：LangChain 终于解决了多步工作流状态丢失的痛点，还能秒级拉起数千个并行环境做 RL 训练，适合做复杂 Agent 和批量评测。