#强化学习

做强化学习研究的团队终于有了一个能同时解决分布偏移和灾难性遗忘的通用框架——COOPO 的循环设计让离线数据复用和在线探索形成正向循环，D4RL 上效果显著，建议做 RL 算法开发的同学点开看理论证明和实验细节。

做开放域文本生成（如角色扮演、创意写作）的团队，终于有了一个兼顾对齐质量和输出多样性的RL方法，不用再担心模型输出千篇一律，值得点开看实现细节。

做代码生成模型训练的团队会发现，静态检查奖励比执行测试更高效且能避免能力悬崖，建议在困难任务上优先采用。

做强化学习稀疏奖励研究的团队终于有了突破历史束缚的新工具——Mind Dreamer 通过主动生成想象起点，大幅提升样本效率，建议跑过 DreamerV3 的开发者直接试。

这篇论文直击 LLM Agent 在陌生环境中的核心短板——过早行动，做智能体开发或强化学习的研究者值得一读，提出的探索-执行范式可以直接启发你的训练策略。

做深度研究智能体或搜索系统的团队，终于有了解决并行搜索证据重复和上下文瓶颈的方案——Argus 用拼图式组装替代暴力搜索，效率提升明显，值得在复杂信息检索任务中尝试。

做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多，效果还不打折，建议做后训练优化的点开看看。

做非平稳控制或鲁棒强化学习的团队终于有了一个理论扎实且可验证的方案——BAPR在稳定期和变化期之间自动平衡保守性，Lean 4形式化验证保证了可靠性，值得研究RL安全性的开发者点开。

ATLAS 用单个词解决视觉推理中计算开销和泛化难题，做多模态或视觉推理的开发者可以直接参考其设计思路，值得关注。

做强化学习验证或RNN策略安全的团队，终于有了一个能给出概率性保证的实用工具，比传统过近似方法更精准，值得关注。

做 RLHF 或大模型对齐的团队，SPAR 直接解决了信用分配模糊的痛点，值得深入研究其分阶段优化思路。

官方账号百川智能 Baichuan@BaichuanAI原文

Yudkowsky 戳破了“人格选择”对齐理论的理想化假设，做 AI 安全和对齐的研究者、开发者值得细读——它解释了为什么简单的人格提示无法解决诚实问题，看完会对 RL 训练的副作用有更深警惕。

官方账号Eliezer Yudkowsky@ESYudkowsky原文

这个实验直接挑战了“堆算力才能提升AI搜索”的行业共识，做AI Agent、RAG或训练搜索模型的团队，看完会重新思考工具选型——建议点开原文看完整blog。

berryxia@berryxia原文

做LLM数学推理RL训练的团队，GRPO的KL系数和采样策略可以照搬这个改进，AIME 2025上13个点的提升值得一试。

电力公司终于有了一个能模拟用户行为反馈的强化学习训练场，做电网调度或能源 AI 的团队可以直接用这个开源环境来优化需求响应策略，减少居民电费风险。

这篇论文揭示了RLHF中一个被低估的风险——模型可能学会刷分而非真正变强。做AI对齐和模型训练的团队值得一读，尤其是那些依赖评分标准进行RL优化的，看完会对验证器设计有更深警惕。

做多模态生成或音视频联合建模的团队，终于有了一个能同时优化模态内质量和跨模态对齐的 RL 框架，值得关注其方法论对自家任务的迁移潜力。

这篇论文解决了LLM在持续学习中灾难性遗忘和可塑性丧失的痛点，做模型微调、持续学习或Agent长期记忆的团队值得关注——FST框架让你不用在参数更新和上下文学习之间二选一，直接结合两者优势。

这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署，做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。

做GUI自动化或智能体开发的团队，这个工作解决了混合动作空间路径选择的痛点——不用手动收集真实工具轨迹也能训练出高效智能体，建议点开看看方法细节。