09:19
官方账号arXiv cs.LG@Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye
推荐理由：这篇论文解决了OPSD在长推理模型上越蒸馏越笨的问题，用PMI过滤器保留思考能力，值得做推理优化的朋友看看。
self-distillation
共 2 条相关 AI 资讯
7月3日
09:19
研究发现在线自蒸馏(OPSD)在长思维链推理模型上效果有限且破坏推理稳定性。通过分解教师监督信号，发现参考导致的成分驱动死记硬背，而可迁移的问题条件成分被忽略。提出两步解法：首先构建仅参考教师以隔离不可迁移成分，再用点互信息(PMI)过滤掉参考捷径。在4个长思维链模型和2个数据集上，该方法相比基线和标准OPSD均取得一致改进。
6月25日
10:46
10:46
官方账号arXiv cs.LG@Andrei Liviu Nicolicioiu, Mohammad Pezeshki, Aaron Courville
推荐理由：这篇论文揭示了自蒸馏方法的一个隐藏缺陷：虽然准确率不错，但多样性会变差，导致复杂推理场景下失效。做RL或推理模型的人值得看看。