12:08
官方账号arXiv cs.LG@Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
推荐理由：这篇论文用老师模型和基础模型的差值做蒸馏信号，比直接模仿老师更强，数学代码推理都更好，训练时间还短。
OPD²
共 1 条相关 AI 资讯
7月17日
12:08
On-Policy Delta Distillation (OPD²) 引入delta信号，定义为教师模型与其未经推理指令微调的基础模型之间的差异。该方法在数学、科学和代码推理基准上一致优于传统on-policy蒸馏。实验表明，仅需短期后训练即可使推理LLM达到强性能。代码已在GitHub开源。