09:15
官方账号arXiv cs.LG@Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding
推荐理由：这篇论文把OPSD训练时模型思维崩溃的原因和解决方法都讲清楚了，AD-OPSD在数学题上能提4个点，做推理优化的值得看看。
AD-OPSD
共 1 条相关 AI 资讯
7月14日
09:15
本文发现On-Policy Self-Distillation (OPSD)在复杂推理任务中会导致“Thinking Collapse”，即模型中间推理行为（以epistemic-token密度衡量）显著下降。通过熵梯度分析和token级目标分解，确定该崩溃源于高熵决策点的激进教师梯度。提出自适应双视角OPSD (AD-OPSD)，通过冻结基础模型参考先验锚定高风险token。在多个数学基准（如GSM8K、MATH）上，AD-OPSD相比标准OPSD平均准确率提升最高达+4.1%。