№distillation·general
Distillation
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-06-12
- 累计提及
- 44
§ 01综述
Distillation（知识蒸馏）是一种模型压缩技术，通过让一个轻量的学生模型模仿一个庞大教师模型的输出分布，从而在保持性能的同时大幅降低计算成本。近年来，蒸馏方法不断演进，从静态知识迁移扩展到动态过程、微小干预和多速率推理等方向。
Distillation 近期进展
Closed-Loop Trace Distillation 用于机器人轨迹学习：最新的研究提出闭环轨迹蒸馏方法，使视觉语言模型（VLM）能够从机器人探索操作中正确提取和复现完整轨迹，显著提升了复杂任务中的泛化能力。Closed-Loop Trace Distillation：让VLM正确读取机器人探索操作轨迹
Subliminal Learning 揭示向量蒸馏机制：研究发现，通过单一的steering向量即可实现潜意识学习，揭示了向量蒸馏背后的机制——即信息可以以极小的干预量被迁移到学生模型中，这一发现可能简化蒸馏过程。Subliminal Learning 通过单一 steering vector 实现，揭示向量蒸馏机制
Dual-Rate Diffusion：交错轻重网络加速推理：该方法利用蒸馏思想，在扩散模型推理中交替使用轻量网络和重网络，以不同速率处理信息，从而在保证生成质量的前提下显著加速采样。Dual-Rate Diffusion：交错轻重网络加速扩散模型推理
Apple On-Policy Distillation 研究：利弊与原因：苹果公司系统分析了在线策略蒸馏（on-policy distillation）的优缺点，指出其相比离线蒸馏能更好地对齐教师分布，但存在更高的采样成本，并解释了背后的理论原因。Apple 发布 On-Policy Distillation 研究：揭示其利弊与原因
当前焦点与观察点
当前蒸的焦点主要集中在三个方面：首先，如何将蒸馏从静态分类任务扩展到更复杂的生成和决策任务（如机器人轨迹和扩散模型）；其次，在线与离线策略的权衡——在线策略蒸馏虽然效果更优，但计算开销大，研究者正探索成本更低的新范式（如向量蒸馏）；最后，蒸馏的语义可解释性成为新方向，例如通过向量干预揭示蒸馏的内部机制。这些进展表明，蒸馏正从单纯压缩工具演变为理解模型行为、迁移复杂技能的核心方法论，但其在自动化程度、最小干预幅度以及多模态场景下的泛化效果仍需深入验证。