10:47arXiv cs.LG@Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng Chu, Leigang Qu, Lingdong Kong, Wei Liu, Tat-Seng Chua针对文本到图像(T2I)、局部编辑和全局编辑等能力难以统一且相互冲突的问题,论文提出DanceOPD框架。该框架基于流匹配模型,采用策略生成场蒸馏,将每个样本路由至对应能力场,并查询低噪声的学生诱导状态,用速度MSE目标训练。在T2I、编辑、真实性场吸收和CFG吸收等实验上,DanceOPD改善了多能力组合效果,增强了目标能力同时保持基准生成质量。论文DanceOPD流匹配模型图像生成蒸馏多能力推荐理由:这篇论文用DanceOPD把T2I、局部编辑和全局编辑统一到一个模型里,解决了相互干扰的问题,效果显著提升。原文
10:45arXiv cs.LG@Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni精选受人类学习过程启发,研究者提出了一种名为“睡眠”的范式,让大语言模型能够持续学习,将短期脆弱记忆蒸馏为稳定的长期知识。该范式包含两个阶段:记忆巩固(通过知识播种将小模型记忆蒸馏到大模型)和梦境(模型通过强化学习生成合成数据自我改进)。实验证明,该方法在长时任务、持续学习、知识整合和少样本泛化上效果显著。这项工作解决了LLM无法持续更新长期参数的核心痛点,为模型终身学习提供了新思路。论文持续学习记忆巩固蒸馏强化学习LLM推荐理由:做持续学习和模型终身优化的研究者值得关注——它用“睡眠”机制解决了LLM记忆遗忘问题,比传统微调更接近人类学习方式,看完会有启发。原文
10:23arXiv cs.AI@Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal随着计算资源增长快于高质量文本供给,多轮训练成为新常态,但单模型在几轮后即饱和。论文提出“超时代预训练”(q0),将多轮预算转化为多样模型群体并聚合预测,达到比单模型更低的验证损失。q0包含三个核心原语:反相关学习率与权重衰减的循环调度、链式蒸馏、以及基于学习先验的模型选择与加权。在1.8B参数模型、100M FineWeb tokens上,q0仅用约56轮就匹配了256轮强集成基线,效率提升约4.6倍,在Slowrun设置下累积数据效率达12.9倍。该方法还给出了不同预算下的最优分配策略,从单轮到最大预算均可适用。论文预训练数据效率模型集成蒸馏q0推荐理由:多轮训练效率瓶颈是当前大模型预训练的痛点,q0用群体模型替代单模型精炼,做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。原文
10:57arXiv cs.AI@Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine精选预训练扩散模型常作为冻结教师模型用于下游任务(如文本到 3D、单步蒸馏、数据归因),但这些任务依赖蒙特卡洛期望估计梯度,方差大且计算成本高。本文提出 CARV 框架,通过分层蒙特卡洛估计器,在扩散噪声重采样上摊销昂贵上游计算,结合时间步重要性采样和分层逆 CDF 构造,有效降低方差。在文本到 3D 蒸馏和归因实验中,CARV 实现 2-3 倍有效计算加速,且不改变目标函数;在单步蒸馏中方差降低一个数量级,但下游 FID 无改善,表明此时方差已非瓶颈。该工作为扩散模型下游应用提供了高效方差缩减方案。论文扩散模型方差缩减蒙特卡洛估计文本到 3D蒸馏推荐理由:做扩散模型下游应用(如文本到 3D、蒸馏)的团队,如果被梯度方差和计算成本困扰,CARV 的 2-3 倍加速值得直接尝试。原文
11:39arXiv cs.LG@Thien Le, Melanie Weber精选本文研究了在组合优化任务中,如何将大型模型的知识蒸馏到更小、更高效的模型。作者假设目标模型是图神经网络,其架构与任务的动态规划算法对齐。基于决策树蒸馏的最新理论分析,论文证明了当源模型足够丰富(通过线性表示假设形式化)时,蒸馏问题可以在动态规划转移函数的复杂度参数内高效解决。该工作为算法对齐框架下的成功蒸馏提供了严格充分条件。论文蒸馏组合优化图神经网络算法对齐动态规划推荐理由:组合优化任务通常依赖大型模型,但部署成本高。本文给出了理论保证,让做图神经网络和算法对齐的开发者知道何时可以安全地蒸馏到小模型,值得关注。原文
11:01arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans精选Dual-Rate Diffusion 提出了一种新的扩散模型加速方法,通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征,轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上,该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外,该方法与蒸馏技术(如 Moment Matching Distillation)兼容,可进一步加速少步生成。论文扩散模型推理加速ImageNet蒸馏生成模型推荐理由:扩散模型推理慢是落地痛点,Dual-Rate Diffusion 用轻量网络复用特征,做图像生成的团队可以直接拿来加速现有模型,效果不打折。原文