#强化学习

TPAE方法通过细粒度监督提升多模态模型推理能力，在七个基准测试中表现优异。

MOBA-VL用游戏遥测数据训练，能准确捕捉击杀和目标事件，比现有解说模型更精准。

这篇论文提出让VLM智能体不仅能预测未来，还能回溯过去判断因果一致性，解决了物理行为不连贯的问题。

Jaxolotl基准套件让多任务RL研究有了统一标准，训练速度提升220倍，还能对比不同算法的优缺点。

论文提出解耦冷却采样器的方法，解决了RL训练中采样器与学习器不同步导致的性能退化问题。

清华团队提出SCA方法，解决GUI代理强化学习中空间信用分配问题，在专业领域和动作预测基准上表现优异。

CoEM解决了长上下文推理中信息过早压缩的问题，通过智能管理记忆空间，显著提升了模型处理长文档的能力。

香港科技大学团队推出VLALight，用多视角视频直接控制交通信号，比传统方法更高效。

FastRL框架能提升GRPO训练速度2倍多，准确率提升1.64%，代码已开源。

清华团队推出 AeroManip-VLA，用强化学习自动生成空中机器人操作数据，解决了物理平台演示收集难、成本高的问题。

HDL方法让强化学习更高效，用更少计算量获得更好结果，特别适合智能体训练。

这篇论文提出了强化学习中ADMM的新理论框架，解决了马尔可夫采样下的收敛问题，为强化学习算法提供了新的理论支持。

这篇论文揭示了高UTD比率下价值函数崩溃的可恢复性，提出了基于早期增长的预警方法，能节省约10%的计算资源。

ReBF解决了强化学习中的速度自举不可能三角问题，在多个基准测试中大幅提升性能。

OpenAI 把安全审查写成了流程：训练前沿模型前要交安全论证，高管每人都有否决权，警报超时训练自动暂停，还有论文可查。

训练智能体 RL 的人可以看看：PEARL 动态调 prefill-decode 配置还能借闲置 GPU，吞吐比 RLBoost+ 最高多 36.3%。

把 CLIP 接进 PPO-Lagrangian 做安全强化学习，MetaDrive Hard 上事故率降了 12 个点，但作者自己发现信号并不能预判碰撞，分析很实在。

arXiv 上这篇 TIDE 讲怎么让小模型智能体训练时先跟老师学、再靠自己 RL 变强，比固定混合比例的做法更灵活，做智能体训练的可以看看。

一篇训练方法论文：让统一模型自己看图、自己改图，用整条轨迹的 RL 训练，GenEval 比 SFT 高了 12 分，推理时还不用 verifier。

这篇论文教模型“跳出常规”做科研构思，方向多了近三成，原创性涨 66 分，做科研的人可以看看怎么让 LLM 帮你想点子。

用强化学习把开源模型训练成会挑求解策略的优化器，成绩还能压过 GPT-5.5，做运筹优化的可以看看。

用 RLVR 训练模型的人该看看：验证器出错时奖励会涨但答案变错，论文还给了基于审计的修正办法。

伯克利这边搞了个 X-Reset，把人类手部演示只用来当 RL 重置点，不用模仿，20 个物体三种机器人本体都能训出通用抓取策略，还能 sim-to-real 直接迁移。

这篇讲了个挺新的思路：不微调模型，而是让一个 proposer 用强化学习学会改智能体的 harness，测试时边跑边改。做 Agent 框架的可以看看。

GAIL 这些老方法里加正则化为什么效果好，这篇终于给出了数学证明，还配套了新算法，做强化学习理论的朋友可以看看。

做智能体 RL 训练的朋友可以看看，KV 缓存不清空改成流式传递，训练直接快 2.6 到 5 倍，还能当循环记忆用，即插即用。

说蒸馏防御没用的人来了：只要蒸馏后再跑一轮 RL，很多防御就失效。做模型安全或 API 防护的值得看看。

多智能体离线RL的新做法：部署后不用重训，靠critic梯度在测试时微调动作，MPE和SMAC上平均提升约9%，延迟只多6%。

把整个限价订单簿换成强化学习智能体，结果出现了相变，市场冲击也不再符合平方根定律，做量化的人可以看看。