策略优化相关 AI 资讯

AITOP

8月4日

00:47

官方一手AWS Machine Learning Blog@Nafi Diallo

Amazon Bedrock 新增自动化推理策略优化功能。该引擎能诊断失败的测试，并为规则问题和语言问题提出形式逻辑修复方案。所有变更需人工批准后才生效。文章演示了两种优化模式的完整 API 和控制台工作流。

推荐理由：AWS 给 Bedrock 加了自动策略优化，能诊断测试失败并提议修复，你确认后才生效。文章带完整 API 和操作流程。

原文

7月31日

12:31

官方账号arXiv cs.LG@Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

论文提出β-OPSD，将普通在线自蒸馏（OPSD）推广为β=1特例的策略优化家族。β作为正则化参数，控制学生模型相对参考策略与特权教师之间的权衡。最优策略被推导为参考策略与教师的几何插值，实现时混合二者的token级logits。在数学推理基准上，β-OPSD比vanilla OPSD更稳定、推理性能更好。

论文 β-OPSD 自蒸馏策略优化

推荐理由：这篇论文把OPSD的隐式β变成可控参数，用蒸馏近似强化学习，数学推理上比原版更稳更强。

原文

7月21日

11:55

官方账号arXiv cs.LG@Chinmay Rane, Kanishka Tyagi, Michael Manry

本文提出Output Reset(OR)作为PPO和GRPO中裁剪替代目标的平滑替代方案，使用OR平方边际损失在token对数比率空间进行优化。在Llama-3.2-1B-Instruct模型上基于Anthropic hh-rlhf数据集测试，PPO-OR在广义优势估计下最终奖励模型得分比PPO-clip平均高0.305，但seed间方差更大。GRPO-OR在组相对优势下平均得分未提升，但方差更小且过冲分数下降。两种组相对方法均比GAE方法产生更大的rollout到当前对数比率位移，OR未能一致减少此位移。报告分数为训练时奖励模型测量值，非独立人类偏好表现。

论文 OR PPO GRPO

事件专题

推荐理由：这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

原文

6月10日

09:12

官方一手arXiv: DeepSeek@Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

精选

当前大语言模型在数学推理中面临 rollout 阶段的两难：token 级采样产生冗余轨迹，嵌入级随机噪声破坏语义一致性。N-GRPO 提出语义邻居混合机制，通过混合锚点 token 与其最近语义邻居的嵌入来注入多样性，同时保持局部语义流形。实验表明，该方法在 DeepSeek-R1-Distill-Qwen 系列模型上，数学推理基准一致优于强基线，并展现出良好的分布外泛化能力。

论文 N-GRPO GRPO 数学推理

推荐理由：N-GRPO 解决了 GRPO 框架中探索与语义保持的冲突，做强化学习或数学推理优化的研究者可以直接参考其嵌入混合策略。

原文

6月2日

12:06

官方一手arXiv: Anthropic@Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

ReSkill 是一种新型的智能体强化学习框架，旨在解决现有方法中技能创建与策略优化脱节的问题。它受 Anthropic 的 Skill Creator 启发，将技能创建嵌入到策略学习循环中，通过断言驱动的技能创建器、组内采样和自适应 Thompson 采样三个机制，实现技能与策略的协同进化。实验表明，ReSkill 在多个领域优于现有方法，尤其在未见任务上表现突出，能自动创建、测试、优化和淘汰技能。该工作为构建可泛化的智能体系统提供了新思路。

论文智能体强化学习技能学习

事件专题

推荐理由：做智能体强化学习的团队终于有了一个能自动积累可复用策略的框架——ReSkill 让技能创建和策略优化不再打架，直接提升泛化能力，做 RL 和 LLM 智能体的研究者值得细读。

原文

5月19日

14:36

官方账号arXiv cs.AI@Qisai Liu, Zhanhong Jiang, Joshua Russell Waite, Aditya Balu, Cody Fleming, Soumik Sarkar

精选

COOPO 是一种新型强化学习框架，通过循环交替进行约束离线训练和在线微调，解决了离线强化学习中的分布偏移和在线学习中的高交互成本问题。该算法在每个循环中先用 KL 正则化的优势加权更新锚定策略，再用任意策略优化进行在线微调，定期回归离线训练可消除遗忘和漂移。理论证明 COOPO 在标准覆盖假设下能实现单调改进，在线样本效率优于纯在线 RL。在 D4RL 基准测试中，COOPO 相比最先进的混合方法减少了在线交互次数，同时提升了最终回报，且对不同离线算法和在线优化器具有鲁棒性。

论文强化学习离线-在线混合策略优化

推荐理由：做强化学习研究的团队终于有了一个能同时解决分布偏移和灾难性遗忘的通用框架——COOPO 的循环设计让离线数据复用和在线探索形成正向循环，D4RL 上效果显著，建议做 RL 算法开发的同学点开看理论证明和实验细节。

原文

5月12日

19:11

官方一手arXiv: DeepSeek@Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu

70°

该论文指出GRPO算法在LLM数学推理中的两个效率不足：固定的KL惩罚系数过度限制策略探索，以及均匀采样忽略了中等难度题目的有效梯度信号。作者提出EXPO算法，包含两个轻量模块：AKL根据批次平均准确率动态调整KL正则化强度，GCS按照高斯分布为中等难度题目赋予更高采样权重。在DeepSeek-R1-Distill-Qwen-1.5B和Qwen3-8B-Base上的六项数学推理基准测试中，EXPO在AIME 2025 pass@32上提升了13.34个百分点，从63.33%升至76.67%，8B模型平均pass@32提升2.66。性能增益表明EXPO有效扩大了模型在固定推理成本下的探索边界。

论文 GRPO/强化学习数学推理自适应KL调节

推荐理由：该工作针对GRPO在LLM数学推理中的实际瓶颈提出两项轻量改进，AKL与GCS模块即插即用，实验验证显著提升pass@32指标，对强化学习训练策略的优化具有直接指导意义。

原文