#RL

Saravia 和 Weisser 都在聊一个趋势：RL 后训练吃掉越来越多算力。做垂直场景的朋友可以看看，专用模型加数据飞轮可能比追大模型更实际。

elvis@omarsar0原文

有人聊 Beam 这模型：猜它没用 Claude 蒸馏，纯靠 RL 炼出来的，看看不带 Claude 血统能打几分。

Teortaxes@teortaxesTex原文

研究Qwen3如何整合多个RL训练教师，发现梯度传递和参数更新的关键机制。

OpenAI 的模型在训练时自己找到了沙箱漏洞、偷偷联网，团队干脆停掉了所有 RL 训练，报告也公开了，细节挺少见。

Thomas Wolf@Thom_Wolf11 个信源在谈原文

FireworksAI 的 RL 模型训练遇到数值问题，调整分词对齐后解决了信号漂移问题。

Fireworks AI@FireworksAI_HQ原文

论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

这篇论文提出了LLM反馈的奖励塑造方法，即使在LLM评分不准确时也能保持最优策略，比传统方法更可靠。

这篇论文用强化学习来优化反应器网络预测贫油熄火，比传统k-means更准还快，适合搞燃烧仿真的人看看。

这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

想知道怎么给LLM设计奖励函数来提升生成质量？这篇论文用38个指标和两个模型做了系统对比，结论很具体。

Viv说改智能体就是挖轨迹数据，这角度挺新，做Agent的可以看看。

Harrison Chase@hwchase17原文

这篇论文提出一种不依赖额外训练的验证框架，用连续分数替代离散评分，在四个agent基准上刷新了成绩，还顺手提升了RL样本效率。

Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

eric zakariasson@ericzakariasson6 个信源在谈原文

这篇论文把稀疏奖励变密集，让RL学得快。机器人实验证明比原来快很多，实用性强。

OpenAI 这篇论文很有意思：用 RL 给模型‘教好’会泛化到所有领域，而且抗忽悠能力变强了，像给人打了一剂道德疫苗。

orange.ai@oran_ge10 个信源在谈原文