11:39
官方账号arXiv cs.LG@Thien Le, Melanie Weber
精选
推荐理由：组合优化任务通常依赖大型模型，但部署成本高。本文给出了理论保证，让做图神经网络和算法对齐的开发者知道何时可以安全地蒸馏到小模型，值得关注。
算法对齐
共 1 条相关 AI 资讯
5月20日
11:39
本文研究了在组合优化任务中，如何将大型模型的知识蒸馏到更小、更高效的模型。作者假设目标模型是图神经网络，其架构与任务的动态规划算法对齐。基于决策树蒸馏的最新理论分析，论文证明了当源模型足够丰富（通过线性表示假设形式化）时，蒸馏问题可以在动态规划转移函数的复杂度参数内高效解决。该工作为算法对齐框架下的成功蒸馏提供了严格充分条件。