AITOP

蒸馏

共 17 条相关 AI 资讯
7月10日
09:46
09:46官方一手arXiv: DeepSeek@Vinay Kumar Chaganti
该论文研究将8B推理教师模型deepseek-r1:8b蒸馏为0.6B学生模型Qwen3-0.6B（使用QLoRA，三个随机种子）。学生模型每篇处理时间0.8秒，教师模型需39秒，速度提升约48倍。在摘要质量上，学生模型恢复教师与基线之间58%的差距，比约束解码高16.8分，比少样本提示高4.9分。相同规模的非推理教师（非deepseek-r1）训练的学生表现不优于未经微调的基线，表明摘要提升源于教师的推理特性。推理教师传递写作质量，托管管线传递标签多样性；在22篇短源文章中，指令教师的学生更忠实（74 vs 55篇忠实），而推理系学生易编造内容。
论文deepseek-r1Qwen3-0.6BQLoRA蒸馏推理模型
推荐理由：这篇论文对比了蒸馏不同教师模型的效果，发现推理型教师擅长教写作质量，托管型管线擅长教标签多样性，对选哪种蒸馏方案做端侧部署很有参考价值。
原文
7月7日
11:11
11:11官方账号arXiv cs.AI@Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard
TREK提出一种分阶段训练方法，解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型（如DeepSeek-V4）的已验证轨迹拉入学生模型支持域，再返回标准GRPO精炼。在数学推理中，TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。在代理任务上，ALFWorld成功率从75.8提高到82.8，ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹，可兼容黑盒或白盒教师。
论文TREKGRPO蒸馏强化学习推理模型
推荐理由：这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。
原文
6月30日
13:46
13:46官方账号arXiv cs.AI@Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan
精选
DOPD是一种advantage-aware的双重蒸馏范式，通过动态路由令牌级监督信号，在特权教师和特权学生策略之间进行分配，缓解了传统同策略蒸馏中的特权幻觉问题。实验在LLM（如GPT-2）和VLM（如CLIP）上验证，结果显示DOPD在稳定性和鲁棒性等指标上持续优于Vanilla OPD。
论文DOPDLLMVLM蒸馏模型压缩
推荐理由：这篇论文提出了一种新蒸馏方法DOPD，通过分令牌监督解决特权幻觉，在LLM和VLM上效果都更好，适合关注模型压缩的研究者。
原文
10:05
10:05官方账号arXiv cs.LG@Chen Wang, Peiran Yun, Pan Xie, Ke Deng
现有扩散模型和连续流生成模型的确定性采样可视为求解学习到的ODE动力学，但准确离散化通常需要多步。论文指出轨迹匹配范式存在理论局限：两个学生模型可达到相同轨迹匹配损失却诱导不同端点边际分布，影响生成质量。为克服这一局限，提出边际对齐正则化器，通过追踪学生模型ODE沿线的对数密度变化并利用冻结教师模型评分来惩罚学生与教师边际分布的差异，无需辅助网络或对抗优化。该框架统一适用于原始再流和分段再流等再流族，并证明局部边际对齐通过 telescoping 总变差界控制最终时刻分布差异。在基准骨干网络上的实验验证了该方法在少步生成中的有效性。
论文Reflow扩散模型蒸馏边际对齐生成模型
推荐理由：这篇论文发现了再流蒸馏的隐藏问题——轨迹匹配可能不够，还提出了一个简单有效的边际对齐正则化，不用额外网络就能提升少步生成质量，值得做扩散加速的人看看。
原文
6月29日
23:38
6月26日
10:47
10:47官方账号arXiv cs.LG@Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng Chu, Leigang Qu, Lingdong Kong, Wei Liu, Tat-Seng Chua
针对文本到图像（T2I）、局部编辑和全局编辑等能力难以统一且相互冲突的问题，论文提出DanceOPD框架。该框架基于流匹配模型，采用策略生成场蒸馏，将每个样本路由至对应能力场，并查询低噪声的学生诱导状态，用速度MSE目标训练。在T2I、编辑、真实性场吸收和CFG吸收等实验上，DanceOPD改善了多能力组合效果，增强了目标能力同时保持基准生成质量。
论文DanceOPD流匹配模型图像生成蒸馏多能力
推荐理由：这篇论文用DanceOPD把T2I、局部编辑和全局编辑统一到一个模型里，解决了相互干扰的问题，效果显著提升。
原文
6月25日
18:15
18:15shao__meng@shao__meng
73°
Anthropic指控阿里巴巴通过近25000个虚假账户大规模获取其Claude模型能力进行蒸馏。这一数字超过Anthropic此前指控DeepSeek、MiniMax和Kimi的数量总和。事件凸显了AI模型API被滥用于竞争对手蒸馏的风险。
行业AnthropicClaudeAlibaba千问蒸馏
推荐理由：朋友，Anthropic说阿里用了2.5万个假账号偷偷薅Claude的羊毛，比之前告DeepSeek他们加一起还多，这操作挺猛。
原文
6月3日
10:45
10:45官方账号arXiv cs.LG@Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni
精选
受人类学习过程启发，研究者提出了一种名为“睡眠”的范式，让大语言模型能够持续学习，将短期脆弱记忆蒸馏为稳定的长期知识。该范式包含两个阶段：记忆巩固（通过知识播种将小模型记忆蒸馏到大模型）和梦境（模型通过强化学习生成合成数据自我改进）。实验证明，该方法在长时任务、持续学习、知识整合和少样本泛化上效果显著。这项工作解决了LLM无法持续更新长期参数的核心痛点，为模型终身学习提供了新思路。
论文持续学习记忆巩固蒸馏强化学习LLM
推荐理由：做持续学习和模型终身优化的研究者值得关注——它用“睡眠”机制解决了LLM记忆遗忘问题，比传统微调更接近人类学习方式，看完会有启发。
原文
10:23
10:23官方账号arXiv cs.AI@Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal
随着计算资源增长快于高质量文本供给，多轮训练成为新常态，但单模型在几轮后即饱和。论文提出“超时代预训练”（q0），将多轮预算转化为多样模型群体并聚合预测，达到比单模型更低的验证损失。q0包含三个核心原语：反相关学习率与权重衰减的循环调度、链式蒸馏、以及基于学习先验的模型选择与加权。在1.8B参数模型、100M FineWeb tokens上，q0仅用约56轮就匹配了256轮强集成基线，效率提升约4.6倍，在Slowrun设置下累积数据效率达12.9倍。该方法还给出了不同预算下的最优分配策略，从单轮到最大预算均可适用。
论文预训练数据效率模型集成蒸馏q0
推荐理由：多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。
原文
5月30日
12:34
5月29日
13:27
13:27IT之家（博客/媒体）
72°
Anthropic 今日发布旗舰大模型 Claude Opus 4.8，并宣布完成 650 亿美元融资，估值逼近万亿美元。然而，模型上线后不久，用户通过 API 测试发现，Opus 4.8 在回答身份问题时自称是阿里通义千问或 DeepSeek，引发“蒸馏”争议。Anthropic 此前曾指责中国公司进行“工业规模的蒸馏攻击”，但自身模型却出现类似问题，被指“双标”。新模型在编码、推理等方面有提升，并增加了“思考强度控制”功能。
行业Claude Opus 4.8蒸馏Anthropic通义千问DeepSeek
推荐理由：Anthropic 一边指责中国公司蒸馏，一边自己的模型却自称是千问和 DeepSeek，做 AI 模型训练或关注行业伦理的开发者值得看看这场“双标”闹剧。
原文
5月25日
12:24
5月21日
10:57
10:57官方账号arXiv cs.AI@Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine
精选
预训练扩散模型常作为冻结教师模型用于下游任务（如文本到 3D、单步蒸馏、数据归因），但这些任务依赖蒙特卡洛期望估计梯度，方差大且计算成本高。本文提出 CARV 框架，通过分层蒙特卡洛估计器，在扩散噪声重采样上摊销昂贵上游计算，结合时间步重要性采样和分层逆 CDF 构造，有效降低方差。在文本到 3D 蒸馏和归因实验中，CARV 实现 2-3 倍有效计算加速，且不改变目标函数；在单步蒸馏中方差降低一个数量级，但下游 FID 无改善，表明此时方差已非瓶颈。该工作为扩散模型下游应用提供了高效方差缩减方案。
论文扩散模型方差缩减蒙特卡洛估计文本到 3D蒸馏
推荐理由：做扩散模型下游应用（如文本到 3D、蒸馏）的团队，如果被梯度方差和计算成本困扰，CARV 的 2-3 倍加速值得直接尝试。
原文
5月20日
11:39
11:39官方账号arXiv cs.LG@Thien Le, Melanie Weber
精选
本文研究了在组合优化任务中，如何将大型模型的知识蒸馏到更小、更高效的模型。作者假设目标模型是图神经网络，其架构与任务的动态规划算法对齐。基于决策树蒸馏的最新理论分析，论文证明了当源模型足够丰富（通过线性表示假设形式化）时，蒸馏问题可以在动态规划转移函数的复杂度参数内高效解决。该工作为算法对齐框架下的成功蒸馏提供了严格充分条件。
论文蒸馏组合优化图神经网络算法对齐动态规划
推荐理由：组合优化任务通常依赖大型模型，但部署成本高。本文给出了理论保证，让做图神经网络和算法对齐的开发者知道何时可以安全地蒸馏到小模型，值得关注。
原文
5月19日
11:01
11:01官方账号arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans
精选
Dual-Rate Diffusion 提出了一种新的扩散模型加速方法，通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征，轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上，该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外，该方法与蒸馏技术（如 Moment Matching Distillation）兼容，可进一步加速少步生成。
论文扩散模型推理加速ImageNet蒸馏生成模型
推荐理由：扩散模型推理慢是落地痛点，Dual-Rate Diffusion 用轻量网络复用特征，做图像生成的团队可以直接拿来加速现有模型，效果不打折。
原文
5月15日
00:24
5月11日
22:16