#大模型蒸馏

这篇论文提出了一种新算法，能解决大模型蒸馏中一个关键问题，就是如何让小模型学习大模型的能力而不继承大模型的偏见。它通过在源数据上校准教师模型，然后利用这个校准后的模型来训练学生模型，这样就能在不需要目标领域反馈的情况下，更好地学习。