09:28
官方账号arXiv cs.LG@Qian Tan, Huaifei Liang, Xuanyu Zhu, Lei Jiang, Yuqiang Li
推荐理由：发了个叫Adaptive FastOPD的蒸馏加速方法，比OPD 15K快一半多，性能还更高。做训练加速的可以看看。
在线蒸馏
共 1 条相关 AI 资讯
8月3日
09:28
在线蒸馏（OPD）沿学生生成轨迹提供密集教师监督，但长响应会拖慢批量完成。现有加速方法用固定预算或绝对师生一致阈值控制回滚长度，难以反映学习进度。Adaptive FastOPD 仅在当前边界区域学习趋于平稳且视野利用充分时扩展回滚视野，由四个师生信号相对值判断进度。在两个师生对上，Adaptive FastOPD 比 OPD 15K 减少训练时间 49.1%–71.2%，同时取得最高平均性能，且对超参数设置鲁棒。