09:15
官方账号arXiv cs.AI@Yangsong Lan, Renkai Hu, HongKai Zheng, Bo Zhang, Renzhi Wang, Hongliang Dai, Piji Li
精选73°
推荐理由：MI-Distillation解决了大模型推理轨迹蒸馏到小模型的难题，通过模型插值和SeqLSS评分提升蒸馏效果。
思维链蒸馏
共 1 条相关 AI 资讯
9月1日
09:15
研究团队提出MI-Distillation框架，通过模型插值构建连续推理数据谱。该方法引入SeqLSS评分机制，选择既具信息量又易于学生模型学习的推理路径。实验表明，该方法在多个推理基准上均优于强基线Long CoT方法，显著提升小模型思维链蒸馏效果。