精选理由
做 LLM 推理强化学习的团队终于有了可扩展的环境构建方案——RACES 用递归组合替代手动堆叠，效率提升 6 倍，值得关注其开源实现。
RACES 提出一种递归自动组合框架，将可验证环境视为可组合的积木块，通过定义 SEQUENTIAL、PARALLEL、SORT、SELECT 等组合算子，自动融合环境以生成多样化的推理模式。实验表明，基于组合环境的强化学习训练能持续提升推理泛化能力：在 6 个未见基准上，DeepSeek-R1-Distill-Qwen-14B 平均提升 3.1 分，Qwen3-14B 从 58.8 提升至 61.1。仅用 50 个基础环境即可达到 300 个独立环境的训练效果，显著提高环境利用效率。该方法解决了手动构建环境线性扩展的瓶颈，为 LLM 推理能力扩展提供了可扩展的新路径。
AI 翻译 · 中文
RACES 提出一种递归自动组合框架，将可验证环境视为可组合的积木块，通过定义 SEQUENTIAL、PARALLEL、SORT、SELECT 等组合算子，自动融合环境以生成多样化的推理模式。实验表明，基于组合环境的强化学习训练能持续提升推理泛化能力：在 6 个未见基准上，DeepSeek-R1-Distill-Qwen-14B 平均提升 3.1 分，Qwen3-14B 从 58.8 提升至 61.1。仅用 50 个基础环境即可达到 300 个独立环境的训练效果，显著提高环境利用效率。该方法解决了手动构建环境线性扩展的瓶颈，为 LLM 推理能力扩展提供了可扩展的新路径。
Reinforcement Learning (RL) with verifiable environments has emerged as a powerful approach for enhancing the reasoning capabilities of Large Language Models (LLMs). While prior research demonstrates that scaling environ…