#强化学习

MIT团队推出SGS方法，让百万级并行环境训练更高效，解决了四足机器人和精密装配难题。

这篇论文提出了一个能同时优化任务性能和安全性的贝尔曼算子，解决了安全强化学习中的权衡问题。

一篇挺有意思的方法论文：把等价的修复方案归到同一个机制里再去做探索，在2212个代谢模型上把成功率从17.93%提到20.10%，思路值得做科学发现方向的人看看。

有意思的尝试：Jev 不生成文本、一次前向就出答案，论文让它当参考策略、探索裁判和回放评分器，MiniGrid 和 Atari 上都跑赢了标准 RL 学习器。

一个模型同时当老师和学生，解决 RL 训练中教师给出学生学不动的指导的问题，推理和写代码任务都有效。

流策略微调太慢的问题有解了，这篇 SQAM 砍掉了每步的反向传播计算，OGBench 难题成功率提升最多 35 个点，还验证到了真实双臂机器人上。

用 Qwen 微调出的期权交易智能体，把上千份合约简化成策略选择，六个月样本外赚 18.3%，新闻用法还挺反直觉。

一篇机器人方向的新论文：给 VLA 模型加了个多样性奖励来做 RL 微调，π_0 分布外成绩提了 5.3 分，真机上成功率也从 64% 涨到 73%。

训练 LLM 做 RL 时长尾 rollout 又慢又掉点？这篇 arXiv 论文的 RollVerify 提前验证修复样本，效率效率、准确率都不丢。

Caddie让智能体能实时决定何时寻求批评建议，基于结果训练的顾问能跨模型和任务领域迁移。

MIT团队新论文AnchorLoop，让智能体通过历史参考自我进化，数学推理提升2.5%，比传统方法持续改进。

机器人强化学习新算法 QF3，比 FPO++ 训练快 10 倍，人形机器人策略第一次能从零训完直接上真机，做机器人方向的朋友可以看看。

新加坡国立和 collaborators 出的一篇论文，教模型从一堆论文里提炼新研究点子，训练加检索两条路分开验证，做科研 AI 的可以看看思路。

用 LLM 扮演不同类型的学生，让教师模型通过强化学习直接优化学生成绩，教学得分从 52.5% 拉到 79.2%，做 AI 教育的可以看看。

论文讲了个有意思的思路：策略会不断冒出新失败模式，验证器也得跟着一起进化。适合做具身智能体和自我改进研究的同学看。

做推荐系统的朋友可以看看这篇：RLCP 让推荐候选集大小随会话动态变化，在 KuaiRand-Pure 和 MovieLens 1M 上多样性最高到基线的 5.21 倍。

CADENCE 算法部署守卫时不知道该把智能体放到哪个角落，这篇论文用 CNN 和 GATv2+DQN 学会挑角落，7500 次测试跑得更快、用的智能体更少，形式化保证还一点没丢。

不用 RL 训练，只在开头加个 "Okay" 就能让 Olmo-3-7B 数学成绩翻近一倍，这篇论文把原因挖得很透，做模型训练的值得看看。

一篇讲 agent 记忆管理的论文，用 RL 学出策略在“查现成记忆”和“现整理原始历史”之间动态切换，还能按成本和延迟偏好调，实验跑在五个多模态基准上。

四足机器人背上没固定的纸箱走坡道台阶，成功率 0.850 比基线 0.675 高不少，做法是多目标 RL 加在线调权，做机器人的可以看看。

双足机器人边走边躲障碍还容易摔，这篇论文用高低两层策略分工解决，动态场景成功率比规划器方案高了20个百分点。

arXiv 上这篇挺有意思：想知道 RL 训练后哪些题能解出来，用别的模型训过的 checkpoint 预测，比一堆先验指标都准。

一篇很实用的研究：教AI在信息不够时该怎么提问。用在图像生成上做了RL训练，真人实验里提问更少效果还更好，做对话产品的可以参考这套思路。

一篇方法论文：搞强化学习或扩散模型的朋友可以看看，SCF 不用重要性采样也能从 critic 给的未归一化密度里采样，训练还更快。

有个叫 flow-1 的新模型专查智能体运行日志里的错误，性能对标 GPT-6-sol 但便宜 23 倍，做 Agent 监控的可以看看。

elvis@omarsar0原文