11:25
官方账号arXiv cs.LG@Taiming Lu, Zhuang Liu
精选72°
推荐理由：做LLM预训练或知识蒸馏的团队，这篇论文直接挑战了“教师越强越好”的默认假设，看完可能会重新设计你的蒸馏策略，值得细读。
损失函数设计
共 1 条相关 AI 资讯
5月25日
11:25
这篇论文挑战了知识蒸馏中“强教师才能教出好学生”的传统观念。研究发现，在LLM预训练阶段，即使使用较小或训练不足的弱教师模型，通过合理混合语言建模和蒸馏损失，也能提升更大的学生模型。相反，更强的教师（更多参数或更多训练数据）可能导致蒸馏收益饱和甚至下降。此外，蒸馏在提升泛化能力（如分布外和下游任务表现）方面比在领域内拟合更有效。这些结果颠覆了蒸馏预训练必须依赖强教师的普遍认知。