精选理由
这篇论文对比了蒸馏不同教师模型的效果，发现推理型教师擅长教写作质量，托管型管线擅长教标签多样性，对选哪种蒸馏方案做端侧部署很有参考价值。
该论文研究将8B推理教师模型deepseek-r1:8b蒸馏为0.6B学生模型Qwen3-0.6B（使用QLoRA，三个随机种子）。学生模型每篇处理时间0.8秒，教师模型需39秒，速度提升约48倍。在摘要质量上，学生模型恢复教师与基线之间58%的差距，比约束解码高16.8分，比少样本提示高4.9分。相同规模的非推理教师（非deepseek-r1）训练的学生表现不优于未经微调的基线，表明摘要提升源于教师的推理特性。推理教师传递写作质量，托管管线传递标签多样性；在22篇短源文章中，指令教师的学生更忠实（74 vs 55篇忠实），而推理系学生易编造内容。
AI 翻译 · 中文
该论文研究将8B推理教师模型deepseek-r1:8b蒸馏为0.6B学生模型Qwen3-0.6B（使用QLoRA，三个随机种子）。学生模型每篇处理时间0.8秒，教师模型需39秒，速度提升约48倍。在摘要质量上，学生模型恢复教师与基线之间58%的差距，比约束解码高16.8分，比少样本提示高4.9分。相同规模的非推理教师（非deepseek-r1）训练的学生表现不优于未经微调的基线，表明摘要提升源于教师的推理特性。推理教师传递写作质量，托管管线传递标签多样性；在22篇短源文章中，指令教师的学生更忠实（74 vs 55篇忠实），而推理系学生易编造内容。
High-volume structured extraction pays a large model's latency on every item, so distilling the task into a small on-device model is attractive: comparable output at a fraction of the time and cost. We measure what that …