OPSD 相关 AI 资讯

AITOP

8月20日

05:25

Latent.Space@latentspacepod

推荐理由：@rronak_团队讲了GRPO在Continual Learning里的改进思路，想了解行业前沿的人可以去听听。

原文

8月7日

13:24

官方账号arXiv cs.AI@ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

论文提出DASH方法，用于改进带可验证奖励的强化学习（RLVR）中奖励稀疏的问题。标准OPSD对所有局部发散使用相同权重，忽略了生成过程中发散序列的时间结构。DASH根据局部蒸馏信号与序列均值的差距自适应调整token级监督权重，控制反向多步聚合。在三个数学推理基准和三种模型规模上，DASH均优于匹配的vanilla OPSD。该方法复用OPSD已有的师生分布，不额外增加前向传播成本。

论文 DASH OPSD RLVR

推荐理由：这篇论文提出了DASH，能让推理模型在自蒸馏时按发散情况动态调整权重，三个数学基准上全面超过原版OPSD，还不用额外算力。

原文

12:28

官方账号arXiv cs.LG@Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

U-OPSD 提出只用模型自身生成做 on-policy 自蒸馏，不依赖真实标签、环境反馈或更大模型。它通过多次采样后多数投票构造伪答案，并把教师分布建立在最短伪答案上，蒸馏到模型最长错误补全的前缀。在 AIME24、AIME25、HMMT25、MATH500、AMC23 上，U-OPSD 让 Qwen3 4B/8B 非思考模式相对基座提升 8.5%/10.7%，平均超过 OPSD 3.2%/2.3%。思考模式下，U-OPSD 在 4B 超 OPSD 0.9%，8B 持平，并分别超 GRPO 0.7%/1.1%。

论文 U-OPSD Qwen3 OPSD

推荐理由：不需要标注和外部反馈，U-OPSD靠投票让Qwen3数学成绩再涨一截，追平甚至超过OPSD和GRPO。

原文

8月6日

09:29

官方账号arXiv cs.AI@Sarthak Harne, Chinmay Karkar, Yash Pandya, Ahmed Awadallah, Akshay Nambi

论文复现了SDPO在简单设置下的收益，但相同流程应用到困难任务（问答、数学、代码、多轮agentic工具使用）后失效。训练中每个token的损失持续下降，验证准确率却无法提升甚至退化。作者提出PI偏置分数，量化教师因见过单一参考解而对特定轨迹的偏向。学生匹配这种目标后，损失主要落在停用词、标点等低信息token上，并惩罚探索性token。结论是自蒸馏单独作为目标时，优化信号与任务成功并不挂钩。

论文 SDPO OPSD 自蒸馏

推荐理由：这篇论文把SDPO从简单题搬到难题上，发现loss降了但准确率不涨，还提出PI偏置分数解释原因，值得做蒸馏的人看。

原文

7月14日

09:15

官方账号arXiv cs.LG@Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding

本文发现On-Policy Self-Distillation (OPSD)在复杂推理任务中会导致“Thinking Collapse”，即模型中间推理行为（以epistemic-token密度衡量）显著下降。通过熵梯度分析和token级目标分解，确定该崩溃源于高熵决策点的激进教师梯度。提出自适应双视角OPSD (AD-OPSD)，通过冻结基础模型参考先验锚定高风险token。在多个数学基准（如GSM8K、MATH）上，AD-OPSD相比标准OPSD平均准确率提升最高达+4.1%。

论文 OPSD AD-OPSD Thinking Collapse

推荐理由：这篇论文把OPSD训练时模型思维崩溃的原因和解决方法都讲清楚了，AD-OPSD在数学题上能提4个点，做推理优化的值得看看。

原文

7月3日

09:19

官方账号arXiv cs.LG@Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye

研究发现在线自蒸馏(OPSD)在长思维链推理模型上效果有限且破坏推理稳定性。通过分解教师监督信号，发现参考导致的成分驱动死记硬背，而可迁移的问题条件成分被忽略。提出两步解法：首先构建仅参考教师以隔离不可迁移成分，再用点互信息(PMI)过滤掉参考捷径。在4个长思维链模型和2个数据集上，该方法相比基线和标准OPSD均取得一致改进。

论文 OPSD long-CoT self-distillation

推荐理由：这篇论文解决了OPSD在长推理模型上越蒸馏越笨的问题，用PMI过滤器保留思考能力，值得做推理优化的朋友看看。

原文

6月18日

10:34