精选理由
该理论解释了多域RL训练中性能下降的机制，并提出了有效的恢复方法，对从事LLM后训练和多任务学习的开发者有直接指导意义，建议关注其刷新策略。
该研究揭示了多域强化学习（RL）中一个关键问题：在数学推理、代码生成等单一领域训练会损害其他领域性能。现有解释（如灾难性遗忘或全局梯度冲突）不完整，因为即使全模型梯度几乎正交时，干扰仍会发生。研究发现，单域RL产生稀疏、小幅度的参数编辑，不同领域共享大量活跃计算路径，更新方向决定协同或冲突。基于局部扰动模型，作者证明后期训练主要通过二阶损伤项损害早期领域，该损伤集中在低维共享冲突子空间。通过短暂领域刷新（如代码→数学→问答→创意写作后重新训练数学），数学性能从57.66恢复至66.04，且其他领域性能保持良好，平均得分达66.39。此外，无训练的回滚方法也部分恢复了数学性能，提供了局部损伤的直接证据。
AI 翻译 · 中文
该研究揭示了多域强化学习（RL）中一个关键问题：在数学推理、代码生成等单一领域训练会损害其他领域性能。现有解释（如灾难性遗忘或全局梯度冲突）不完整，因为即使全模型梯度几乎正交时，干扰仍会发生。研究发现，单域RL产生稀疏、小幅度的参数编辑，不同领域共享大量活跃计算路径，更新方向决定协同或冲突。基于局部扰动模型，作者证明后期训练主要通过二阶损伤项损害早期领域，该损伤集中在低维共享冲突子空间。通过短暂领域刷新（如代码→数学→问答→创意写作后重新训练数学），数学性能从57.66恢复至66.04，且其他领域性能保持良好，平均得分达66.39。此外，无训练的回滚方法也部分恢复了数学性能，提供了局部损伤的直接证据。
Reinforcement learning (RL) post-training improves large language models (LLMs) on individual domains such as mathematical reasoning, code generation, question answering, and creative writing (CW), but training on one do…