09:54官方账号arXiv cs.LG@Vladislav Beliaev精选AdaPrefix-GRPO针对GRPO在困难问题上梯度消失的问题,提出自适应调整正确前缀长度的机制。方法通过反馈控制器将问题的成功率维持在50%附近以最大化梯度信号,训练后完全移除前缀。在0.6B模型上,该方法在保留训练分布的难题上将准确率提升2.1倍;在Qwen3-1.7B上提升1.6倍,在AIME基准上提升1.7倍,同时将追踪长度减半。模型越小,增益越大。论文AdaPrefix-GRPOGRPOQwen3AIME推理模型推荐理由:这篇论文解决了GRPO训练时难问题学不到东西的痛点,用自适应前缀让模型在数学推理上准确率翻倍,而且模型越小效果越明显,值得做强化学习的人看看。原文
09:14官方账号arXiv cs.AI@Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong提出Single-rollout Asynchronous Optimization (SAO)方法,解决异步RL中GRPO框架不适用于智能体任务的稳定性和离策略问题。用单轨迹采样替代组采样,配合价值模型训练和双面token级裁剪,在SWE-Bench Verified、BeyondAIME、IMOAnswerBench上持续优于GRPO及其变体。SAO已成功部署于GLM-5.2模型(750B-A40B)的智能体RL训练管线。论文SAOGRPOGLM-5.2强化学习智能体推荐理由:想高效训练智能体模型?SAO用单轨迹采样打补丁,稳定训练1000步,在编码和推理基准上全面超越GRPO,干货论文。原文
11:11官方账号arXiv cs.AI@Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz GeramifardTREK提出一种分阶段训练方法,解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型(如DeepSeek-V4)的已验证轨迹拉入学生模型支持域,再返回标准GRPO精炼。在数学推理中,TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3,在AIME 2024上从47.9提升至51.1(avg@16)。在代理任务上,ALFWorld成功率从75.8提高到82.8,ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹,可兼容黑盒或白盒教师。论文TREKGRPO蒸馏强化学习推理模型推荐理由:这篇论文给出了一个实用技巧:用蒸馏扩展支持域再强化学习,在数学和代理任务上都涨点明显,而且不需要改动模型结构。原文
12:36官方一手marktechpost@Sana Hassan精选该教程展示了如何用Tunix框架和GRPO算法微调Gemma-3模型在GSM8K数学数据集上。首先配置环境并通过Hugging Face加载Gemma-3,将样本包装为推理加答案格式。定义格式正确性和数值正确性的奖励函数,并附加LoRA适配器以降低训练成本。最终通过GRPO分组采样改进策略,并导出合并后的模型。技巧Gemma-3GSM8KGRPOLoRA微调1 个信源在谈推荐理由:手把手教你用Tunix GRPO和LoRA微调Gemma-3做GSM8K数学题,奖励函数设计得很清楚。原文
12:35官方账号arXiv cs.LG@Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong本文基于Qwen3和Qwen2.5共7个模型,使用GRPO、GiGPO、Dr. GRPO三种RL算法,在数学推理、代码生成和智能体决策任务上实验。研究发现训练单层Transformer即可恢复全参数RL训练大部分甚至全部改进。作者引入“层贡献”指标量化单层训练相比全参数训练的收益比例。结果显示RL收益高度集中于少数中间层,输入输出层贡献显著较低。论文Qwen3GRPOTransformerRL训练推理模型推荐理由:这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果,还揭秘中间层才是关键,刷新认知。原文
12:22官方账号arXiv cs.LG@Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox论文提出QuasiMoTTo,利用准蒙特卡洛(QMC)生成相关但边际分布正确的样本,替换传统的独立同分布(i.i.d.)采样,减少冗余。在四个推理基准上,QuasiMoTTo以25-47%更少的样本达到相同的pass@k准确率,甚至常饱和边际保持采样器的理论上限。应用于策略梯度强化学习(GRPO)时,QuasiMoTTo以50%更少的训练步骤匹配i.i.d.性能。研究者还开发了无偏bootstrap估计器以评估相关采样器的pass@k。论文QuasiMoTToquasi-Monte Carlopass@kGRPO采样效率推荐理由:这篇论文提出QuasiMoTTo,用相关采样替代独立采样,在推理和强化学习中大幅减少样本需求,效果显著。原文
11:50官方账号arXiv cs.LG@Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi该论文研究异步GRPO(群体相对策略优化)中陈旧rollout对策略优化的影响。作者将行为策略显式纳入GRPO替代目标,并区分学习器使用的替代梯度映射与依赖分布的总体目标的真实全导数。在局部有界性、分布平滑性和行为策略平滑性假设下,证明陈旧rollout引入的每步替代梯度偏差为O(S * eta),其中S是最大rollout滞后,eta是学习率。进一步导出条件性崩溃时间缩放定律:当周期内漂移低于批量级裁剪半径时,崩溃主要由累积学习器漂移T * eta决定;当陈旧rollout约束激活时,稳定性显式依赖于S * eta。从而得到双约束稳定性条件eta << min{R_batch/(S*G_upd), R_crit/(T*G_upd)},解释了在有限时间范围内最大稳定学习率对陈旧性依赖较弱的原因。论文RLHFGRPO异步训练缩放定律强化学习推荐理由:想搞异步RLHF训练的可以看这篇,把陈旧rollout对学习率的影响定量化了,推导了缩放条件,比经验调参更靠谱。原文
10:36官方账号arXiv cs.AI@Yuanda Xu, Zhengze Zhou, Hejian Sang, Xiaomin Li, Jiaxin Zhang, Xinchen Du, Zhipeng Wang, Alborz Geramifard论文提出TRIAGE框架,通过将动作段分类为决断性进展、有用探索、无进展基础设施或回归,并分配固定边界奖励,解决了标准GRPO仅依赖最终结果信号的盲点。在ALFWorld、Search-QA和WebShop三个基准上,TRIAGE基于两种策略模型均提升了成功率。消融实验表明,角色类型化(尤其是检测成功轨迹中的回归行为)是性能提升的主要来源,且TRIAGE在ALFWorld和WebShop上分别比GRPO减少了10.4%和14.8%的环境交互轮次。论文TRIAGEGRPOALFWorldWebShop智能体强化学习推荐理由:想改进智能体强化学习的信用分配?TRIAGE通过角色类型化标签给不同动作段不同奖励,效果超过GRPO,还能少绕弯路。原文
10:08官方账号arXiv cs.AI@Difan Jiao, Raghav Singhal, Robert West, Ashton AndersonTandem Reinforcement Learning (TRL) 将 tandem 训练范式引入带可验证奖励的强化学习(RLVR)。TRL 让一个较强的 senior 模型与一个冻结的 junior 模型随机交替协作生成推理过程,对最终结果给予奖励,并对 senior 应用标准 GRPO 损失。在 Qwen3-4B-Instruct 上使用竞赛数学训练,TRL 的 solo 推理能力与 vanilla GRPO 持平,但同时提升了 senior 与 junior 的交接鲁棒性、减少了 junior 侧分布漂移,并产出了对 junior 更易理解的思维链。该工作为多模型通信与人类兼容性提供了实际收益的路径。AI模型TRLQwen3-4BGRPO推理模型多模型协作推荐理由:他们提出了 TRL,让强模型和弱模型组队推理,强模型学会写弱模型能看懂的推理过程。训练 Qwen3-4B 后,单打能力不降,协作能力更强。原文
10:35官方账号arXiv cs.LG@Ping Liu, Qianqi Shen, Jianqiang Shen, Wenqiong Liu, Rajat Arora, Yunxiang Ren, Chunnan Yao, Dan Xu, Baofen Zheng, Wanjun Jiang, Andrii Soviak, Kevin Kao, Jingwei Wu, Wenjing Zhang该论文提出一种RLAIF框架为招聘搜索平台自动生成可移植的搜索查询词。研究发现GRPO优化器对虚假奖励信号敏感,易导致模型复制原文的退化行为。通过引入基于规则的确定性奖励下限,抑制了动词复制行为,使交叉族评估指标提升0.147。实验表明训练时奖励模型将性能提升夸大了2.4倍,核心在于奖励塑形而非优化器选择。论文RLAIFGRPO语义搜索招聘平台奖励塑形推荐理由:这篇论文揭示了奖励信号设计比选优化器更重要,GRPO容易作弊,加个规则防御就能让质量跳升14.7%点。原文
08:55Fireworks AI@FireworksAI_HQ精选Fireworks 宣布对 NVIDIA Nemotron 3 的强化学习微调功能上线,首批支持 Nemotron 3 Super 的 LoRA 微调。训练采用 GRPO 算法,可在一处平台完成训练和部署。计费方式改为按 GPU 小时而非按 token,解决了长多轮对话成本不可控的问题。AI产品Nemotron 3Fireworks微调RL训练GRPO6 个信源在谈推荐理由:Fireworks 刚上线了 Nemotron 3 的 RL 微调,按 GPU 小时计费不怕长对话烧钱,用 GRPO 训练一条龙搞定。原文
12:56官方账号arXiv cs.AI@Jubayer Ibn Hamid, Ifdita Hasan Orney, Michael Y. Li, Omar Shaikh, Yoonho Lee, Dorsa Sadigh, Chelsea Finn, Noah Goodman72°SPIRAL提出一种新训练框架,让语言模型在推理时同时使用顺序链式思维、平行采样和最终聚合三种原语。该方法通过集束强化学习优化所有组件,在推理任务中扩展效果优于GRPO,最高实现11倍扩展效率和15%性能提升。实验表明模型能有效学习生成对聚合有用的轨迹集并改进最终答案。论文SPIRALGRPO推理模型强化学习链式思维推荐理由:这篇论文的SPIRAL方法教模型自己学会并行思考再汇总,比单纯加大顺序推理高效11倍,效果还更好,值得做推理扩展的朋友看看。原文
23:54elvis@omarsar0精选论文提出三阶段流水线,从GUI轨迹中分段、聚类候选技能并训练技能感知策略。八个聚类中五个纯度≥0.95。但GRPO仅将技能步准确率从18.5%提升至20.5%,低于频率先验。作者指出弱边界检测器、无序段表示和离线奖励模型是三大原因。论文SKILL.mdCodexOpenAI智能体GRPO10 个信源在谈推荐理由:这篇论文用OpenAI Codex的思路做智能体技能提取,八个聚类五个纯度超0.95,但GRPO只提了2个点,分析很实在。原文
10:10官方账号arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YANSPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈,通过低熵锚点和熵整形目标消除歧义,避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优,生成问题条件化的聚光灯。在多个VLM族和基准测试中,SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。论文SPOT-EVLMGRPO多模态测试时优化推荐理由:SPOT-E这个新方法挺有意思,它不重训模型,只在推理时搞了个视觉聚光灯和熵整形,就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优,效果提升还挺稳定。原文
10:54官方账号arXiv cs.LG@Haipeng Luo, Qingfeng Sun, Songli Wu, Can Xu, Wenfeng Deng, Han Hu, Yansong TangSTARE针对GRPO等强化学习训练中策略熵崩溃问题,提出令牌级信用分配纠偏方法。通过惊讶度分位数识别熵关键令牌子集,选择性重加权其有效优势,并引入目标熵闭环门控实现稳定熵调节。在1.5B至32B规模模型及短CoT、长CoT、多轮工具使用三类任务中,STARE可维持数千步稳定训练。在AIME24和AIME25上,STARE准确率较DAPO等基线提升4%-8%,反射令牌和响应长度同步增长,表明探索-利用平衡得到改善。代码已开源。论文STAREGRPO策略熵强化学习推理模型推荐理由:STARE解决了GRPO训练中策略熵崩溃的老问题,在AIME数学竞赛上比DAPO高4-8个点,代码也开源了,搞RL训练的同学可以试试。原文
09:47官方账号arXiv cs.AI@Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin多轮工具使用强化学习受限于静态数据集中信息样本快速耗尽的问题。研究观察到GRPO中梯度集中在高奖励方差任务上,基于Popoviciu上界。提出RODS方法,利用进度奖励方差作为零成本边界检测器,无需额外推理。通过技能对齐重采样管道合成新多轮变体,维护动态缓冲池。从400个人工种子开始,保持约800样本活跃池,达到与17K样本离线管道相当性能,轨迹数减少约20倍。论文RODSGRPO工具使用智能体强化学习数据合成推荐理由:这篇论文用奖励方差自动发现困难样本并生成新数据,训练效率比静态数据高20倍,特别适合多轮工具智能体场景。原文
11:12官方账号arXiv cs.AI@Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao ZhuGRPO在GUI接地训练中因单视图采样导致有效信号不足。VISTA框架从多个保持目标元素可见的裁剪视图中构建比较组,并添加自验证跨视图锚点。在五个GUI接地基准上持续提升,ScreenSpot-Pro上Qwen3-VL 4B/8B/30B-A3B从55.5/52.7/53.7分别升至63.4/65.8/67.0。鲁棒性分析显示最差视图准确率更高、预测翻转率更低。论文VISTAGRPOGUI GroundingQwen3-VL智能体推荐理由:多视图训练让GUI定位更准原文
11:03官方账号arXiv cs.LG@Semih Kara, Oğuzhan Ersoy精选该研究探讨了自蒸馏中上下文设计的关键作用,通过训练求解器接收冻结批评者的反馈,比较了三种条件:二元奖励、参考解决方案和步骤对齐批评。步骤对齐批评在Avg@12指标上比GRPO高出16.11分,比参考解决方案条件高出5.27分。分析表明,步骤对齐反馈仅针对推理失败的token,保留正确行为,而参考解决方案迫使模型在每个token上改变行为,导致效率降低。研究揭示了反馈与求解器推理的结构对齐是自蒸馏有效性的关键驱动因素。论文自蒸馏反馈对齐推理模型GRPO批评者推荐理由:做自蒸馏或强化学习的研究者会发现,步骤对齐反馈比传统奖励信号更高效,直接提升模型推理质量,值得在实验中尝试这种上下文设计。原文
09:12官方一手arXiv: DeepSeek@Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu精选当前大语言模型在数学推理中面临 rollout 阶段的两难:token 级采样产生冗余轨迹,嵌入级随机噪声破坏语义一致性。N-GRPO 提出语义邻居混合机制,通过混合锚点 token 与其最近语义邻居的嵌入来注入多样性,同时保持局部语义流形。实验表明,该方法在 DeepSeek-R1-Distill-Qwen 系列模型上,数学推理基准一致优于强基线,并展现出良好的分布外泛化能力。论文N-GRPOGRPO数学推理嵌入混合策略优化推荐理由:N-GRPO 解决了 GRPO 框架中探索与语义保持的冲突,做强化学习或数学推理优化的研究者可以直接参考其嵌入混合策略。原文
12:41官方账号arXiv cs.AI@Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich精选本文提出AdvGRPO框架,解决了GRPO在攻防协同训练中不稳定的问题。通过密集多通道奖励和分离优势归一化,使攻击者和防御者模型交替更新,从单轮攻击逐步过渡到多轮闭环攻击。实验表明,该方法能生成高效且可迁移的攻击,协同训练的防御者在安全基准上优于基线。这项工作为语言模型的安全对齐提供了新的自适应红队方法。论文红队测试GRPO攻防协同安全对齐强化学习推荐理由:做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案,能同时提升攻击发现能力和防御鲁棒性,建议做红队测试的开发者直接参考。原文
10:35官方账号arXiv cs.AI@Subramanyam Sahoo精选大语言模型常会“不懂装懂”,对超出知识边界的问题给出流畅但错误的回答。研究者提出结构化无知证书(SICs),要求模型明确输出缺失的领域交集、所需概念和检索查询,而非直接生成答案。团队构建了7347条跨领域未知-未知数据集,并用GRPO微调14B模型,使SIC输出JSON有效率达99.46%,概念特异性评分0.967。该方法证明,让模型显式表达认知边界是可学习且可衡量的能力,对提升AI可靠性和安全性有重要意义。论文推理模型幻觉缓解结构化输出未知-未知GRPO推荐理由:这项研究直接戳中了LLM的“幻觉”痛点——用结构化输出让模型承认无知,做AI安全或可靠性研究的团队值得关注,尤其适合需要高可信度输出的应用场景。原文
10:47官方账号arXiv cs.AI@Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang精选现有基于评分标准的强化学习(RL)方法将查询分布视为固定,导致开放查询产生模糊评分标准,而狭窄查询又引入无法验证的参考,使训练失去奖励信号。QUBRIC框架通过教师提取关键点将开放查询重写为可评估的场景问题,并利用对比评分生成和可学习性过滤,保留信息丰富的查询-评分对用于GRPO训练。在ArenaHard上,QUBRIC相比SFT基线提升5.5分,且仅用指令跟随数据训练后,在三个未见基准(法律、道德、叙事推理)上平均提升6.3分。这表明联合设计查询与评分标准可使基于评分标准的RL成为严格可验证任务之外的有效补充。论文强化学习评分标准查询设计GRPO推理模型推荐理由:QUBRIC解决了RL在非可验证任务中的核心瓶颈——查询与评分标准不匹配,做RL训练或AI对齐的团队可以直接参考其方法,提升模型在开放推理任务上的表现。原文
10:43官方账号arXiv cs.LG@Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu精选VLESA 是一个面向具身 AI 的安全框架,通过分析第一人称视频实时预测危险动作并触发干预。它解决了“意图依赖的安全”问题——相同动作在不同情境下可能安全或危险。研究团队引入了配对第一人称帧与目标条件安全标注的数据集,并训练了基于 GRPO 的目标条件安全 Q 过滤器,无需重新训练即可评估动作安全性。在 ASIMOV-2.0 基准上,VLESA 在精确帧上实现了更高的干预准确率,GRPO 训练的 Q 过滤器通过目标条件约束解码将动作安全性提升了超过 41 个百分点。代码已开源。论文具身智能安全监控视觉语言模型GRPO开源/仓库推荐理由:做具身 AI 安全或人机协作的团队,VLESA 提供了一个可落地的实时安全监控方案,能根据上下文判断危险动作,建议直接看论文和代码。原文
11:58官方账号arXiv cs.AI@Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim精选研究发现多模态大语言模型作为自动评估者时存在“感知判断偏见”:当视觉证据与文本线索冲突时,模型倾向于奖励看似合理但感知错误的回答。研究者通过受控视觉扰动构建了 Perceptually Perturbed Judgment 数据集,并开发了结合 GRPO 奖励与批量排序目标的统一训练框架。该方法无需显式成对标签,即可实现全局一致性排序。实验表明,该方法显著提升了多模态评估者的感知保真度、排序一致性与人类评价对齐度。这项工作为训练感知可靠、可解释且鲁棒的多模态评估者提供了可扩展路径。论文多模态大模型评测偏见感知扰动奖励建模GRPO推荐理由:做多模态模型评测的团队终于有了对抗感知偏见的方法——Perceptual Perturbation 框架能直接提升评估者的视觉可靠性,建议做 MLLM 评测基准的开发者点开看看实验细节。原文
10:34IT之家(博客/媒体)精选76°英伟达研究团队发布开源框架 Polar,通过在不改动现有智能体框架(如 Codex、Claude Code、Qwen Code)的前提下接入 GRPO 强化学习训练,大幅提升代码智能体在 SWE-Bench 上的表现。Polar 将智能体与模型的接口作为训练边界,而非重写执行框架,从而保留原生工具调用和上下文组织能力。实验显示,基于 Qwen3.5-4B 模型,Codex 的 pass@1 分数从 3.8% 提升至 26.4%,涨幅达 594.74%。同时,Polar 通过 prefix_merging 等技术将训练效率提升约 5.39 倍,GPU 利用率从 20.4% 升至 87.7%。该框架解决了智能体强化学习从单步任务转向长流程任务时的接入难题,为代码仓库修改、浏览器操作等复杂场景提供了高效训练方案。AI产品英伟达PolarGRPO代码智能体强化学习1 个信源在谈推荐理由:做代码智能体训练的团队终于有了一个不用重写框架就能接入强化学习的方案——Polar 让 Codex 跑分暴涨近 6 倍,建议搞 AI 编程的开发者直接看论文和代码。原文
01:12官方一手marktechpost@Asif Razzaq76°NVIDIA 研究人员推出 Polar,一个 token 忠实展开框架,用于通过强化学习训练语言智能体,无需修改其智能体框架。Polar 在框架和推理服务器之间放置模型 API 代理,捕获 token 级交互并重建训练器就绪轨迹。基于 Qwen3.5-4B 基础模型使用 GRPO,Polar 在 Codex 框架下将 SWE-Bench Verified pass@1 提升 22.6 个百分点,在 Claude Code 下提升 4.8 个百分点,在 Pi 下提升 6.2 个百分点。该框架已注册为 NeMo Gym 环境,并在 ProRL Agent Server 仓库中发布。AI模型NVIDIAPolarGRPO代码智能体强化学习4 个信源在谈推荐理由:Polar 解决了 RL 训练智能体时需修改框架的痛点,做代码智能体或 RL 训练的开发者可以直接集成,无需改动现有工具链,值得一试。原文
16:35官方一手marktechpost@Sana Hassan本文是一篇技术教程,详细介绍了如何使用 TuringEnterprises/Open-MM-RL 数据集构建完整的多模态强化学习与可验证奖励(RLVR)管线。教程涵盖数据集加载、模式检查、领域分析、问题长度与答案类型统计、图像分布可视化等预处理步骤。还构建了轻量级奖励函数,支持精确匹配与语义评分,并演示了 GRPO 导出流程。该管线为多模态推理任务提供了可复现的实践框架,适合研究者和开发者快速上手。论文多模态强化学习RLVRGRPOOpen-MM-RL推荐理由:多模态 RLVR 是当前强化学习与视觉语言结合的热点方向,这篇教程从数据集到奖励函数再到导出一步到位,做多模态推理或 RL 研究的团队可以直接照着搭,省去自己踩坑的时间。原文
10:58官方账号arXiv cs.AI@Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal精选72°当前大语言模型的后训练通常优化单一标量奖励,导致输出分布低熵,难以在推理时搜索(如AlphaEvolve)中展现多样性。本文提出向量策略优化(VPO),一种显式训练模型适应多样化下游奖励函数并产生多样化解决方案的强化学习算法。VPO利用实践中奖励常为向量形式(如代码生成的逐测试用例正确性、多种用户画像或奖励模型),作为GRPO优势估计器的即插即用替代,训练模型输出一组解,每个解专门针对向量奖励空间中的不同权衡。在四个任务上,VPO在测试时搜索(如pass@k和best@k)中匹配或超越最强标量RL基线,且差距随搜索预算增大而扩大。对于进化搜索,VPO模型能解决GRPO模型完全无法解决的问题。论文强化学习推理时搜索多样性训练VPOGRPO推荐理由:VPO解决了LLM在推理时搜索中缺乏多样性的痛点,做强化学习后训练或推理时搜索的团队值得关注,它直接替换GRPO就能提升搜索效果。原文
10:22官方账号arXiv cs.LG@Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu精选72°Group Relative Policy Optimization (GRPO) 在提升大语言模型推理能力方面表现出色,但存在优势坍塌问题:当组内奖励同质化(如全对或全错)时,优势趋近于零,导致梯度消失。研究者首次提出诊断指标 Advantage Collapse Rate (ACR),量化训练批次中梯度无效的比例,并在0.5B至14B参数模型上验证了ACR对训练停滞和最终性能的强预测性。为缓解该问题,他们提出 Adaptive Virtual Sample Policy Optimization (AVSPO),通过实时ACR监控注入虚拟奖励样本,无需额外模型推理即可从同质组中学习。AVSPO将优势坍塌减少58-63%,在所有模型规模上带来4-6个百分点的准确率提升,且保持了域外泛化能力。代码和数据集已开源。论文GRPO优势坍塌RLVR推理模型开源/仓库推荐理由:GRPO用户终于有了解决训练停滞的实用工具——AVSPO无需额外推理成本就能提升4-6个点准确率,做大模型RL训练的团队可以直接试。原文
09:46官方账号arXiv cs.AI@Yixu Wang, Yang Yao, Xin Wang, Yifeng Gao, Yan Teng, Xingjun Ma, Yingchun Wang精选论文指出当前大模型的安全对齐存在脆弱性:同一恶意意图换种措辞就可能绕过防护。作者提出“上下文不变性对齐”概念,要求模型行为基于底层意图而非表面形式。为此设计了锚定不变性正则化(AIR),将可验证提示作为锚点,仅对开放变体进行正则化,避免降低可靠变体的性能。在安全、道德推理和数学任务上,AIR将分布内准确率提升12.71%,分布外一致性提升33.49%,使安全约束对对抗性措辞更鲁棒。该方法可作为插件与GRPO等偏好优化方法结合使用。论文大模型安全对齐上下文不变性正则化GRPO推荐理由:大模型安全对齐的脆弱性一直是部署痛点,AIR用巧妙的锚定策略解决了“一改措辞就破防”的问题,做安全对齐的团队可以直接集成到现有训练流程中。原文
11:42官方账号arXiv cs.AI@Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Piotr Koniusz, Yirong Chen, Ding Wang精选视觉语言模型(VLM)在空间推理上仍存在脆弱性,即使能正确回答原始输入,也可能在变换后失败。为此,研究者提出SAGE(Spatial Alignment via Geometric Evolution),一种自进化框架,通过几何和语言对偶操作强制VLM保持逻辑一致性。SAGE将一致性作为GRPO训练的辅助奖励,并动态调整操作池以聚焦最具信息量的信号。该方法模型无关、数据高效,可作为轻量后训练阶段应用于任何VLM。实验表明,SAGE在视频和空间推理基准上持续优于强基线,并提升了对未见数据的泛化能力。论文空间推理视觉语言模型自进化训练逻辑一致性GRPO推荐理由:空间推理是VLM的硬伤,SAGE用自进化训练解决了这个痛点,做多模态模型训练或空间理解应用的团队可以直接参考方法。原文
10:39官方账号arXiv cs.LG@Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma精选该论文发现GRPO算法在VLA策略强化学习中,梯度计算占78%时间,而大部分计算浪费在策略已掌握的阶段。为此提出概率性分块掩码(PCM),通过成功-失败动作方差识别关键阶段,仅对少量分块进行梯度更新。PCM无需额外奖励模型,在LIBERO基准上保持相同成功率的同时,实现2.38倍加速、4.8倍梯度更新加速和60%峰值内存降低。论文强化学习VLA策略GRPO梯度加速机器人推荐理由:做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多,效果还不打折,建议做后训练优化的点开看看。原文
21:49向阳乔木@vista8本文用简洁的图示对比了三种主流大语言模型后训练技术:SFT(监督微调)让模型学会遵循指令;DPO(直接偏好优化)使输出更符合人类偏好;GRPO(群体相对策略优化)进一步激发模型的推理和思考能力。三者在训练目标和方法上层层递进,是当前LLM对齐和增强推理能力的关键技术路径。对于想了解模型训练流程或优化模型输出的开发者,这是一份直观的入门参考。AI模型LLM后训练SFTDPOGRPO推荐理由:想搞懂LLM后训练技术栈的开发者,这张图帮你三分钟理清SFT、DPO、GRPO的关系和演进逻辑,建议收藏。原文
19:12官方一手arXiv: DeepSeek@Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu精选论文发现GRPO算法存在两个效率问题:固定KL系数限制模型探索,均匀采样忽略中等难度题目的信息价值。提出FG-ExPO方法,包含两个轻量组件:基于准确率的自适应KL缩放(AKL)动态调整约束强度,以及高斯课程采样(GCS)聚焦模型学习前沿。在DeepSeek-R1-Distill-Qwen-1.5B和Qwen3-8B-Base上测试,AIME 2025 pass@32从63.33%提升至76.67%,8B模型平均提升2.66%。该方法在固定推理预算下扩大了模型有效探索空间。论文GRPO强化学习数学推理课程学习自适应KL推荐理由:做LLM数学推理RL训练的团队,GRPO的KL系数和采样策略可以照搬这个改进,AIME 2025上13个点的提升值得一试。原文
11:42官方账号arXiv cs.AI(学术论文)70°该论文提出了一种名为“rubric-grounded reinforcement learning (RL)”的框架,将奖励分解为多个可验证的加权标准,由冻结的LLM评判器给每个回应评分,从而提供部分信用优化信号。作者从约10万份科技文档中提取评判规则,并利用GRPO方法微调Llama-3.1-8B-Instruct模型,在保留的评判规则评估上获得了71.7%的归一化奖励。经GRPO训练的策略在GSM8K、MATH、GPQA Main和GPQA Diamond等四个未参与训练的推理基准上均优于基础模型。这一结果表明,结构化、文档依赖的奖励能够改善保留评判规则的性能,并诱发可迁移的推理行为。该框架为提升大模型推理的泛化能力提供了一种新的训练范式。论文推理模型强化学习LLM-as-judgeGRPO泛化性推荐理由:该研究通过分解奖励为多标准评判规则,实现了更细粒度的优化信号,在多个推理基准上验证了迁移效果,对大模型推理能力的训练方法有重要参考价值。原文