12:31
官方账号arXiv cs.LG@Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang
推荐理由：这篇论文把OPSD的隐式β变成可控参数，用蒸馏近似强化学习，数学推理上比原版更稳更强。
β-OPSD
共 1 条相关 AI 资讯
7月31日
12:31
论文提出β-OPSD，将普通在线自蒸馏（OPSD）推广为β=1特例的策略优化家族。β作为正则化参数，控制学生模型相对参考策略与特权教师之间的权衡。最优策略被推导为参考策略与教师的几何插值，实现时混合二者的token级logits。在数学推理基准上，β-OPSD比vanilla OPSD更稳定、推理性能更好。