论文10:12仅需0.1%-1%token：IER改进稀疏在线蒸馏的梯度估计蒸馏最烧token，这篇把教师监督压到0.1%-1%还不掉点，reverse-KL目标也保留，做训练的可以直接抄代码。#模型蒸馏#IER#token选择#reverse-KLaarXiv cs.LG@Huanxin Sheng 等 6 人原文稍后读已读值得跟进有用关注 模型蒸馏