12:09
官方账号arXiv cs.LG@Yi Ding, Ruqi Zhang
精选73°
推荐理由：OPSA方法比OPD提升16.77分，在AIME24上相对增益263%，无需教师监督。
OPSA
共 1 条相关 AI 资讯
9月1日
12:09
研究人员分析了在线策略蒸馏(OPD)中的教师监督，发现存在大量噪声，且噪声随教师规模增加而增加。学生策略对这种噪声不敏感，无论保留还是移除噪声监督，性能相当。研究发现OPD主要通过抑制低概率token来工作，这不需要教师监督。基于此，研究人员提出了无监督的在线策略自适应(OPSA)方法，在AIME24基准上将Avg@32提高了35.41点。