蒸馏 Knowledge Distillation

蒸馏是用大模型(教师)的输出训练小模型(学生),把能力压缩进更小参数量的技术,是低成本小模型的主要来源之一。

小模型因此能在特定任务上逼近大模型表现,推理成本降一个数量级。围绕「是否允许用 API 输出蒸馏」也存在商业与合规争议,多数闭源模型服务条款明确禁止。

查看「蒸馏」相关最新资讯 →