精选理由
这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。
TREK提出一种分阶段训练方法，解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型（如DeepSeek-V4）的已验证轨迹拉入学生模型支持域，再返回标准GRPO精炼。在数学推理中，TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。在代理任务上，ALFWorld成功率从75.8提高到82.8，ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹，可兼容黑盒或白盒教师。
AI 翻译 · 中文
TREK提出一种分阶段训练方法，解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型（如DeepSeek-V4）的已验证轨迹拉入学生模型支持域，再返回标准GRPO精炼。在数学推理中，TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。在代理任务上，ALFWorld成功率从75.8提高到82.8，ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹，可兼容黑盒或白盒教师。
Group Relative Policy Optimization (GRPO) is effective when the current policy already samples useful reasoning trajectories, but it stalls on hard prompts whose correct solution modes lie outside the student's on-policy…