10:47
arXiv cs.LG@Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang
推荐理由：这篇论文揭示了OPD中后面token质量差的问题，提出IW-OPD加权方案，在AIME-2025上提分6.9，做蒸馏研究的值得一看。
全部 AI 动态
AI 相关资讯全量信息流
6月23日
10:47
标准在策略蒸馏（OPD）对所有token均匀加权，但研究发现学生rollout越长，后续token与教师分布偏差越大。仅使用前30%的token即可达到全token性能，而仅用后30%几乎学不到东西。基于约束优化视角，提出重要性加权在策略蒸馏（IW-OPD），根据累积偏差动态调整token权重。IW-OPD收敛更快，在AIME-2025基准上性能提升多达6.9分。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
11:26
11:26
arXiv cs.LG@Guo Yu, Wenlin Liu, Yulan Hu, Hao-Xuan Ma, Jun-Peng Jiang, Han-Jia Ye
推荐理由：这篇论文揭示了OPD更新的稀疏性和几何特性，对做模型蒸馏和微调的团队有直接参考价值——你可以只训练关键子网络来节省计算，同时理解为什么AdamW比SGD更优。建议点开看看实验细节。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07