AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：RACES×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
11:01
11:01arXiv: DeepSeek@Hao Xiang, Qiaoyu Tang, Le Yu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Bowen Yu, Peng Wang, Hongyu Lin, Dayiheng Liu
精选
RACES 提出一种递归自动组合框架，将可验证环境视为可组合的积木块，通过定义 SEQUENTIAL、PARALLEL、SORT、SELECT 等组合算子，自动融合环境以生成多样化的推理模式。实验表明，基于组合环境的强化学习训练能持续提升推理泛化能力：在 6 个未见基准上，DeepSeek-R1-Distill-Qwen-14B 平均提升 3.1 分，Qwen3-14B 从 58.8 提升至 61.1。仅用 50 个基础环境即可达到 300 个独立环境的训练效果，显著提高环境利用效率。该方法解决了手动构建环境线性扩展的瓶颈，为 LLM 推理能力扩展提供了可扩展的新路径。
论文推理模型强化学习环境组合泛化能力RACES
推荐理由：做 LLM 推理强化学习的团队终于有了可扩展的环境构建方案——RACES 用递归组合替代手动堆叠，效率提升 6 倍，值得关注其开源实现。
原文