09:34
官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe
推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。
rejection fine-tuning
共 1 条相关 AI 资讯
7月9日
09:34
论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。