策略蒸馏是强化学习中的一种模型压缩与知识迁移技术,核心思路是把训练成本高、结构复杂的教师策略的行为转化为更小的学生模型,使其在不依赖环境交互的情况下继承决策能力。随着大模型智能体和具身控制的发展,策略蒸馏正从传统的性能保持工具,扩展为可解释性、安全对齐和离线训练的重要技术路径。
策略蒸馏的近期进展
当前焦点与观察点
从近期研究看,策略蒸馏的关注点呈现三个方向。其一是脱离环境交互:SAPD 等工作表明,蒸馏正在成为从离线数据训练智能体的主要手段之一,这对降低大模型智能体的训练成本有直接意义。其二是打破模仿的局限:Estimate, Don't Imitate(https://arxiv.org/abs/2609.34018v1)等研究尝试用估计而非模仿的方式复用策略,RetireOPD 和 RISE 也都指向同一问题——学生不应止步于复制教师,而应具备继续改进的空间。其三是可解释性与安全应用:物理感知策略蒸馏(https://arxiv.org/abs/2607.24672v1)与 ReShap 面向高维多动作环境的可解释框架(https://arxiv.org/abs/2611.15507v1)说明,策略蒸馏正被用作解释复杂策略、提升透明度的工具。
值得观察的争议点在于蒸馏的度:过强的教师依赖会限制学生上限,过弱的引导又可能损失已有能力,自退火、递归改进等方案尚缺乏统一的评测标准。此外,策略蒸馏在 LLM 智能体场景的有效性仍主要依赖轨迹质量,离线数据与真实环境分布不一致带来的偏差如何量化,是下一步需要解决的问题。