On-Policy Self-Distillation

On-Policy Self-Distillation（在线策略自蒸馏，常缩写为 OPSD）是一类大模型训练方法：模型在自己当前生成的输出上，将自身或特权教师的知识蒸馏回自身，从而缩小训练与推理之间的分布偏移。它介于传统离线蒸馏与强化学习之间，近一年在持续学习、视觉生成和工具调用推理等场景中被广泛借用，也开始出现针对其有效边界的系统性检视。

On-Policy Self-Distillation 的近期进展

One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation：这篇批判性综述指出 OPSD 在实践中常表现出同一种共性症状，并梳理出三个可调节的干预杠杆，为后续方法设计提供了统一的分析框架。

Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning：在持续学习场景中，作者发现一种简单的离线策略合并方法能够在效果上超过在线策略自蒸馏，直接挑战了「在线策略采样必然更好」的常见假设。

DualOPSD: Adaptive Privileged Teachers for On-Policy Self-Distillation：该工作引入自适应的特权教师机制，在学生自身输出与更强教师信号之间动态权衡，扩展了 OPSD 在教师选择上的灵活性。

Reinforcement Learning with Visually Attributable On-Policy Self-Distillation：将 OPSD 与强化学习结合，并要求蒸馏信号在视觉上可归因，用于提升多模态任务中的可解释性。

应用扩展与争议焦点

除语言模型外，On-Policy Self-Distillation 正快速渗透到多模态领域：OPD-V（arXiv:2608.05131 关注模态平衡问题），LIFT 则把该思路用于大视角变化下的视频生成布局预测（相关发布），TurnSight（arXiv:2608.04007）在工具集成推理中采用轮次级别的回溯自蒸馏。与此同时，OP-Print（arXiv:2610.31616）尝试追踪 OPSD 过程中留下的成员关系印记，提示这类方法可能带来训练数据记忆层面的隐私与审计问题。

当前焦点与观察点

综合来看，围绕 On-Policy Self-Distillation 的讨论正从「提出新变体」转向「厘清适用条件」：一方面，它在视觉生成、多模态推理等新领域持续扩张；另一方面，批判性综述与 off-policy 对比工作开始质疑其相对离线方法的真实增益。值得关注的是训练数据记忆风险、教师信号的来源与归因，以及在线策略采样带来的额外计算成本是否物有所值——这些将成为判断 OPSD 能否成为长期主流训练范式的关键观察点。

Overview