精选理由
这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果，还揭秘中间层才是关键，刷新认知。
本文基于Qwen3和Qwen2.5共7个模型，使用GRPO、GiGPO、Dr. GRPO三种RL算法，在数学推理、代码生成和智能体决策任务上实验。研究发现训练单层Transformer即可恢复全参数RL训练大部分甚至全部改进。作者引入“层贡献”指标量化单层训练相比全参数训练的收益比例。结果显示RL收益高度集中于少数中间层，输入输出层贡献显著较低。
AI 翻译 · 中文
本文基于Qwen3和Qwen2.5共7个模型，使用GRPO、GiGPO、Dr. GRPO三种RL算法，在数学推理、代码生成和智能体决策任务上实验。研究发现训练单层Transformer即可恢复全参数RL训练大部分甚至全部改进。作者引入“层贡献”指标量化单层训练相比全参数训练的收益比例。结果显示RL收益高度集中于少数中间层，输入输出层贡献显著较低。
Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typ…