09:21
官方账号arXiv cs.LG@Saptarshi Roy, Debepsita Mukherjee, Pratik Patil
推荐理由：这篇论文用严格理论证明和实验验证了整流流中自蒸馏的改进方法，想了解生成模型自训练优化的可以看看。
Self-Distillation
共 1 条相关 AI 资讯
7月17日
09:21
该论文研究了整流流（Rectified Flow）的最优自蒸馏问题，其中学生模型在真实RF速度和教师速度的混合数据上训练，理论证明可提升教师模型。对于带有岭正则化的线性RF，作者推导了精确的仿射路径恒等式，并给出了最优混合系数的闭式解，正混合修正欠正则化教师，负混合修正过正则化教师。同时提出了一次广义交叉验证（GCV）方法，避免网格搜索和重复重拟合。实验在高斯模型、高斯混合和图像数据上验证，该方法在速度风险、模态恢复和有限步生成上均优于教师和纯蒸馏。