#RLVR

共 34 条 · 7 天 5 条 · 30 天 8 条

强化学习 12 推理模型 12 GRPO 4 AI安全 3 DeepSeek-R1 2 Qwen3 2 数学推理 2 蒸馏 2

信息流里打上「RLVR」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

行业中美对照03:52

评论者谈模型能力边界：尚无主动夺权迹象

一位 AI 安全观察者在 X 上聊模型会不会夺权，他拿 Diplomacy 和 Factorio 这些游戏环境当论据，观点挺有意思。

#RLVR #AI安全 #Diplomacy #Factorio

Teortaxes@teortaxesTex原文

10月7日

行业 Agent 与开发者精选08:15

François Chollet 提出疑问：能力边界是否主要取决于数学与代码

Keras 之父 Chollet 抛了个有意思的问题：RLVR 只能拉高数学和代码，其他领域能不能跟着涨还不确定，这直接决定接下来模型能走多远。

#RLVR #François Chollet #推理模型

官方账号François Chollet@fchollet原文

技巧 Agent 与开发者多源确认03:36

观点：评估网络安全能力时激活参数量基本不重要

一个关于 RLVR 评估的反直觉观点：10B 激活参数加够环境就能赢，104B 没环境也白搭，还猜了 Anthropic 的思路。

#RLVR #Anthropic #Mythos-Preview #AI安全

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

10月4日

技巧 Agent 与开发者精选71°08:49

Build A Reasoning Model 第 6 讲：用纯 PyTorch 从零实现 GRPO 训练推理模型

Raschka 又更新了，这讲直接用 PyTorch 手写 GRPO，把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%，想搞懂推理模型怎么训的别错过。

#GRPO #Qwen3 #RLVR #DeepSeek-R1

shao__meng@shao__meng原文

技巧 Agent 与开发者精选02:52

Sebastian Raschka 发布第6期教程：从零实现 RLVR 与 GRPO 训练推理模型

Raschka 又出新教程了，这次手把手带你从零写 GRPO，把 DeepSeek-R1 那套推理训练方法完整实现一遍，还带 MATH-500 评测结果。

#GRPO #RLVR #DeepSeek-R1 #强化学习

官方账号Sebastian Raschka@rasbt原文

9月29日

论文 Agent 与开发者13:38

RLVR 中验证器出错会引发奖励黑客，论文提出选择性控制修正方法

用 RLVR 训练模型的人该看看：验证器出错时奖励会涨但答案变错，论文还给了基于审计的修正办法。

#RLVR #奖励黑客 #强化学习 #arXiv

arXiv cs.AI@Christian Moya 等 3 人原文

9月22日

模型 Agent 与开发者多源确认10:36

Thom Wolf 称开源高质量 RL 环境是当前推动开源前沿最有影响力之举

Thom Wolf 点名的一套开源 RL 环境要来了，附约 7k 训练数据和框架，还练出 Artificial Analysis 前六的模型，做 RL 的可以蹲一下。

#Thom Wolf #Elie Bakouch #RLVR #强化学习

事件专题

Thomas Wolf@Thom_Wolf5 个信源在谈原文

9月11日

技巧 Agent 与开发者10:25

推理模型不是在像人一样思考，访谈拆解工程本质

想了解AI行业术语的真相，@sophiamyang 和 @rasbt 这场69分钟的访谈，用具体方法解释了推理模型到底是怎么工作的。

#推理模型 #工程本质 #RLVR #蒸馏

shao__meng@shao__meng原文

9月9日

论文 Agent 与开发者11:20

ThinkPrior：零轮次难度先验用于RLVR冷启动提示选择

研究人员提出ThinkPrior方法，通过离线锚点构建难度先验，解决了RLVR训练中的冷启动问题，显著减少了无效轮次。

#ThinkPrior #RLVR #GRPO #Qwen2.5-Math-7B

arXiv cs.AI@Tommy Sha 等 3 人原文

9月7日

论文 Agent 与开发者78°09:40

RISE：递归改进通过自我外推策略蒸馏

RISE方法解决了传统蒸馏中教师质量瓶颈问题，用模型自身轨迹构建教师，在多项任务中超越现有方法。

#RISE #RLVR #策略蒸馏 #语言模型

arXiv cs.AI@Yang Li 等 3 人原文

论文 Agent 与开发者精选73°09:31

基于验证器的可解释推理框架研究

Qwen2.5模型通过新框架大幅提升推理深度，符号验证系统增强答案可靠性，教育问答场景适用。

#Qwen2.5 #RLVR #QLoRA #推理模型

arXiv cs.LG@Thi Kim Trang Vo 等 5 人原文

9月4日

论文精选73°11:19

顺序优于联合：RLVR与OPD方法对比研究

OpenAI等机构常用方法被挑战，论文证明先OPD后RL的两阶段训练效果更好，还给出了实用切换信号。

#RLVR #OPD #大模型推理 #强化学习

arXiv cs.LG@Boyan Li 等 6 人原文

9月3日

论文精选73°12:06

Cliff：从首次错误中学习过程奖励

研究人员提出Cliff方法，通过识别首次错误来改进强化学习，性能提升显著且适用性广。

#Cliff #RLVR #强化学习 #推理模型

arXiv cs.LG@Peixuan Han 等 6 人原文

9月1日

论文10:17

GMTS方法提升LLM推理训练效果

GMTS方法让LLM推理训练更高效，前20%标记选择比传统熵方法表现更好。

#GMTS #RLVR #LLM #推理模型

arXiv cs.AI@Outongyi Lv 等 3 人原文

8月19日

论文11:43

基于图的在线难度估计优化RLVR调度

论文提出了一种即插即用的图结构难度估计器，能智能分配探索资源，让RLVR更高效。

#RLVR #强化学习 #图结构 #难度估计

arXiv cs.AI@Zhizhao Liu 等 7 人原文

8月15日

技巧 Agent 与开发者官方一手19:59

从零构建AI文本检测器：一份端到端项目指南

从零搭AI文本检测器的完整教程，含数据集、训练、部署和RLVR，适合想亲手走一遍流程的朋友。

#AI文本检测器 #RLVR #数据集构建 #模型训练

官方一手Sebastian Raschka: Ahead of AI@Sebastian Raschka, PhD原文

8月7日

论文13:24

DASH：面向推理模型on-policy自蒸馏的自适应监督视野

这篇论文提出了DASH，能让推理模型在自蒸馏时按发散情况动态调整权重，三个数学基准上全面超过原版OPSD，还不用额外算力。

#DASH #OPSD #RLVR #数学推理

arXiv cs.AI@ZhiYan Hou 等 12 人原文

8月6日

模型精选20:11

模型将宪法训练与 RLVR 拆进不同表示空间

一个训练上的坑：模型会把宪法训练和 RLVR 隔到不同表示空间，Thom_Wolf 说这样不行。

#RLVR #宪法训练 #AI安全 #数据流形

Thomas Wolf@Thom_Wolf原文

8月4日

行业04:32

从RLHF到RLVR：大模型写作能力为何变差

Kun Chen解释了为什么新模型越来越像机器人：训练从讨好人类变成了刷测试用例，看完你就明白根源在哪。

#RLHF #RLVR #Claude #GPT-3

向阳乔木@vista8原文

论文00:17

从RLVR到RLSVR：任务变换让LLM自我改进用上自验证奖励

开放式任务也能用强化学习自我改进了，这篇论文把RLVR升级成RLSVR，不用人工奖励，AI自己验证自己。

#RLVR #RLSVR #自我改进 #强化学习

AK@_akhaliq原文

7月29日

行业76°09:33

AI模型在编码领域突飞猛进但通用能力倒退，Opus等试验品受质疑

有人发现AI写代码越来越强但说话越来越难懂，连Opus都退步了，这个分析直击当前模型训练的短板。

#agentic coding #RLVR #Opus #Mythos

orange.ai@oran_ge原文

7月22日

模型12:09

ISO：面向RLVR的等谱优化框架，加速模型微调

如果厌倦了RLVR微调慢慢跑，试试ISO：只用1/3的训练步数就能达到同等效果，Qwen3-8B上实测有效，代码开源。

#ISO #RLVR #Qwen3 #优化框架

arXiv cs.LG@Hanqing Zhu 等 11 人原文

论文12:06

Off-Context GRPO：利用特权信息提升困难问题推理能力

模型一遇到难题就原地踏步？这篇论文给出了一个简单又有效的解法：给模型一点'提示'，效果直接涨3.9%，成本几乎为零。

#Off-Context GRPO #GRPO #RLVR #推理模型

arXiv cs.LG@Priyank Agrawal 等 7 人原文

论文11:33

推理的代价：强化学习在神经机器翻译中的成本-质量权衡

这篇论文用实验告诉你：机器翻译加推理步骤质量更好，但token成本涨三成，做生产部署前得算清楚这笔账。

#RLVR #神经机器翻译 #强化学习 #推理模型

arXiv cs.LG@Michael Jungo, Aixiu An原文

7月15日

论文10:04

基于验证器的强化微调推理模型优化建筑热能存储控制

这篇论文用30条提示微调开源模型，让建筑冷负荷调度排放从70.5降到61.2，逼近最优，比GPT-4o强得多。

#RLVR #RFT #GPT-5 #GPT-4o

arXiv cs.LG@Takumi Shioda 等 3 人原文

7月2日

论文10:25

结合可验证奖励与人类演示的语言模型训练方法

这篇论文能让AI不仅算对答案，还能写出像人话的风格，用对抗训练把RLVR和人类示范结合起来，效果很实在。

#RLVR #对抗训练 #语言模型训练 #可验证奖励

arXiv cs.AI@Mehul Damani 等 4 人原文

6月23日

论文精选12:01

边界感知课程强化学习提升LLM推理能力超越基础模型

这篇论文提出一种课程强化学习，能帮LLM突破自己的推理能力边界，在多个模型上效果显著，值得关注。

#课程强化学习 #LLM推理 #RLVR #pass@k评估

arXiv: DeepSeek@Pengxiang Cai 等 6 人原文

6月18日

论文09:22

SFT过度训练导致RLVR下熵崩塌与排名反转

这篇论文发现了SFT过训练会搞崩GRPO训练的秘密，还给出了诊断方法来提前止损。做RLHF或强化学习训练的可以看看。

#Qwen2.5-Coder-3B #DeepSeek-Coder-6.7B #SFT #RLVR

arXiv: DeepSeek@Siddharth Aphale, Kelly Liu原文

6月9日

论文精选10:26

PAEC：位置感知熵校准提升LLM推理RLVR效果

做LLM推理强化学习的团队终于有了更精细的熵控制方案——PAEC在数学推理任务上直接提升多数投票性能，做RLVR的开发者值得关注这个位置感知的新思路。

#强化学习 #推理模型 #熵校准 #数学推理

arXiv cs.AI@Shumeng Yang 等 5 人原文

5月26日

论文官方一手16:35

Open-MM-RL 教程：构建多模态 RLVR 管线，含视觉语言提示与 GRPO 导出

多模态 RLVR 是当前强化学习与视觉语言结合的热点方向，这篇教程从数据集到奖励函数再到导出一步到位，做多模态推理或 RL 研究的团队可以直接照着搭，省去自己踩坑的时间。

#多模态 #强化学习 #RLVR #GRPO

官方一手marktechpost@Sana Hassan原文

5月21日

论文精选12:11

DelTA：用判别性Token信用分配提升RLVR推理能力

做RLHF或推理模型训练的团队，终于有了一个能精准分配token级信用的方法——DelTA解决了高频格式token淹没关键信号的问题，数学和代码任务上效果显著，值得在自家模型上试试。

#强化学习 #Token信用分配 #推理模型 #RLVR

arXiv cs.LG@Kaiyi Zhang 等 3 人原文

论文精选72°10:22

GRPO优势坍塌问题诊断与AVSPO缓解方案

GRPO用户终于有了解决训练停滞的实用工具——AVSPO无需额外推理成本就能提升4-6个点准确率，做大模型RL训练的团队可以直接试。

#GRPO #优势坍塌 #RLVR #推理模型

arXiv cs.LG@Xixiang He 等 8 人原文

5月20日

论文精选15:34

POW3R：让RLVR的评分标准更智能地指导训练

做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题，做多模态或文本模型对齐的开发者可以直接参考实验设置。

#强化学习 #奖励设计 #RLVR #评分标准

arXiv cs.AI@Utkarsh Tyagi 等 8 人原文

论文精选10:44

GoLongRL：面向长上下文的强化学习训练方案，开源数据集与TMN-Reweight方法

长上下文 RL 训练的数据构建和奖励设计一直是个难题，GoLongRL 提供了开源数据集和优化方法，做长上下文模型训练的团队可以直接复用，省去大量数据构造工作。

#长上下文 #强化学习 #开源/仓库 #RLVR

arXiv: DeepSeek@Minxuan Lv 等 12 人原文