#强化学习

小米把 MiMo-V2.6 的 RL 训练全程直播了，单步 20 亿 token 的配置全公开，细节还会开源。

OpenRouter@OpenRouterAI4 个信源在谈原文

图像生成做 RL 训练后期老崩？这篇把不稳归到一个能算的量"路径方差"，按预算分配梯度，不用再手调补丁。

想让模型学会'下一步该问什么'？这篇论文把提问当成强化学习问题，用检索排序反馈训练，五轮交互持续涨点。

这个 PARTS 框架挺有意思，就是针对机器人执行长时程任务时，那些容易卡壳的关键步骤，用强化学习去专门训练，效果比单纯用预训练策略好很多，而且需要的人类操作也少。

这是篇关于强化学习新算法的论文，作者提出GEM-MPC方法，通过专家引导规划来平衡探索和利用，在连续控制任务上表现更好。

这个新算法能更高效地计算梯度，在连续控制任务和 Wordle 游戏上都比传统方法表现更好。

朋友，有个挺有意思的论文，说训练了一个4B的模型，能让Postgres的查询计划速度提升81%，但实验环境太受限了，推广性存疑，值得看看。

这是篇关于如何提升强化学习目标可靠性的论文，作者提出了CARE-VI框架，通过CARS、SEVA和DARE三个组件来管理候选动作和修正量，在多个基准任务上取得了更好的结果。

朋友，这是篇挺有意思的论文，讲的是怎么用一种叫RetireOPD的新方法来训练AI智能体，效果比直接用强化学习好不少，在几个任务上都有明显提升。

这是篇关于如何解决大语言模型强化学习不稳定问题的论文，作者提出了一个叫“分数中心化”的新方法，在实验中效果不错，对做相关研究的人可能有参考价值。

这篇论文讲的是一种叫OPTED的新方法，能更高效地训练自动驾驶模型，让模型在模拟环境中学习得更快，效果更好。

这个研究用MILER框架解决了自动驾驶中仿真到现实迁移的难题，在真实车辆上实现了零人工干预的驾驶，挺有意思的。

朋友间推荐：新方法叫ActObs，能让AI代理更聪明地探索环境，在测试中表现更好。

朋友发了 GPT-6 能用 Isaac Lab 和 Sharpa 手玩转笔，比之前那些只能简单操作的工具厉害多了。

AI Will@FinanceYF5原文

这是篇关于强化学习离线评估难度的学术论文，对研究强化学习算法的工程师或研究者可能有参考价值。

推荐给做强化学习或大模型推理的研究者，BPO 是一种新的优化方法，可能对提升大模型的推理能力有帮助。

这是篇研究论文，作者提出了一种叫CanvasAnneal的新框架，专门用来提升扩散语言模型做复杂推理的能力，比如数学题和用工具，效果比之前的方法好。

这是篇关于强化学习正则化方法的论文，作者提出了新方法，通过理论分析和实验验证了其有效性。

这是篇关于如何提升强化学习模型鲁棒性的研究论文，作者开源了实现代码，对做相关研究的人可能有参考价值。

这个研究解决了自动驾驶中一个很实际的问题，就是让AI驾驶更符合人类舒适感。他们开发了一个方法，让AI在控制车辆时更平滑，不会突然加速或转向，比之前的方法更好。

这个研究挺有意思，作者解决了强化学习中多步过渡前瞻的接近最优规划问题，证明了精确规划是NP难的，但提出了一个高效的近似算法，并且扩展到了更复杂的情况。