精选理由
做推理模型蒸馏的团队终于有了一个简单有效的改进方向——不用改架构，只需调整token权重就能提升1分以上，值得在自家模型上复现。
论文研究了在推理任务中，教师模型token的可靠性并非均匀分布，而是与序列中的位置强相关。作者提出分支可行性诊断方法，发现位置得分是预测教师token可靠性的最强指标（AUROC达0.83），而局部不确定性得分效果很差。基于此，提出位置加权在线策略自蒸馏（PW-OPSD），在保持原有训练框架的同时，对越靠后的token赋予更高权重。在Qwen3-4B上，PW-OPSD使AIME 2024和2025的Avg@12分别提升1.0和1.1分，在DeepSeek-R1-Distill-Llama-8B和Olmo-3-7B-Think上也取得一致改进。该方法无需额外教师计算，直接利用轨迹结构提升蒸馏效果。
AI 翻译 · 中文
论文研究了在推理任务中，教师模型token的可靠性并非均匀分布，而是与序列中的位置强相关。作者提出分支可行性诊断方法，发现位置得分是预测教师token可靠性的最强指标（AUROC达0.83），而局部不确定性得分效果很差。基于此，提出位置加权在线策略自蒸馏（PW-OPSD），在保持原有训练框架的同时，对越靠后的token赋予更高权重。在Qwen3-4B上，PW-OPSD使AIME 2024和2025的Avg@12分别提升1.0和1.1分，在DeepSeek-R1-Distill-Llama-8B和Olmo-3-7B-Think上也取得一致改进。该方法无需额外教师计算，直接利用轨迹结构提升蒸馏效果。
On-policy self-distillation (OPSD) trains a student on its own rollouts using a privileged teacher, but its standard objective weights all generated tokens equally, implicitly treating the privileged teacher target as eq…