AITOP

蒸馏

共 39 条相关 AI 资讯
8月12日
16:39
00:30
8月11日
11:37
8月6日
10:15
10:14
8月4日
09:36
09:36官方账号arXiv cs.AI@Zhihao Zhu, Hanlin Shang, Mingwang Xu, Feipeng Cai, Zhuolin He, Yaoyi Li, Jianhua Han, Hang Xu, Siyu Zhu
WAM-Diff2是一种多任务离散扩散VLA框架，通过三阶段分层蒸馏将预训练自回归模型转化为并行扩散模型。该方法解决了自回归解码的高延迟和暴露偏差问题，同时保留多任务视觉-语言推理能力。在驾驶理解、感知和规划基准上，WAM-Diff2与自回归基线性能持平。推理加速达2.8倍，结合FlashInfer和CUDA Graphs系统优化后最高可达15.1倍。
AI模型WAM-Diff2VLA扩散模型
推荐理由：它把慢吞吞的自回归VLA模型变成并行扩散模型，性能不掉，推理快2.8倍，还能跑自动驾驶多任务。
原文
7月29日
09:11
09:11SuperTechFans（博客/媒体）
72°
Anthropic CEO Dario Amodei在2026年7月27日发表文章，澄清公司从未主张全面禁止开放权重模型，认为不具备危险能力的开放权重模型是公共产品。文章指出两大担忧：中国可能利用更强AI模型实现军事优势，以及开放权重模型更易被滥用。Amodei支持三项措施：禁止向中国出售先进芯片和芯片制造设备、打击工业级蒸馏、所有足够强的模型需接受强制安全测试。Anthropic不主张全面禁止，而是聚焦芯片管控、蒸馏规制和安全测试。
行业Anthropic开放权重模型芯片管制
事件专题
推荐理由：看看Anthropic对开源模型的最新态度，不是一刀切禁止，而是主张芯片管制和安全测试，与中国相关风险的分析很具体。
原文
7月26日
17:48
17:46
17:46AI Will@FinanceYF5
英伟达CEO黄仁勋回应开源模型蒸馏闭源模型争议，认为蒸馏本质上就是学习，是智能的基础。他指出早期AI模型从互联网的人类知识中学习，未来互联网可能有99%内容由AI生成，AI之间互相学习将成为常态。他主张更聪明的AI也可能更安全。
行业黄仁勋NVIDIA开源模型
事件专题
推荐理由：黄仁勋对开源模型蒸馏闭源模型表态，核心观点是学习即智能，未来AI互相学习很正常，还提到了AI安全性。值得一看。
原文
7月25日
01:48
7月24日
04:16
7月23日
00:00
7月22日
22:19
22:19官方账号Nathan Lambert: Interconnects@Nathan Lambert
文章回顾了近期开源模型进展，重点讨论了Kimi K3和Qwen 3.8的发布。提及中国WAIC上习近平的演讲对开放AI生态的影响。分析了AI蒸馏技术对模型能力的提升和开源与闭源模型之间差距的缩小。最后展望了开源模型下一步的发展方向。
行业Kimi K3Qwen 3.8WAIC
事件专题
推荐理由：聊了Kimi K3、Qwen 3.8这些新进展，还有WAIC上习近平的发言，分析了蒸馏和开闭源差距，看完对开源格局心里有数。
原文
7月21日
13:01
01:21
7月20日
01:44
7月19日
09:12
7月17日
12:08
12:08官方账号arXiv cs.LG@Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
On-Policy Delta Distillation (OPD²) 引入delta信号，定义为教师模型与其未经推理指令微调的基础模型之间的差异。该方法在数学、科学和代码推理基准上一致优于传统on-policy蒸馏。实验表明，仅需短期后训练即可使推理LLM达到强性能。代码已在GitHub开源。
论文OPD²蒸馏推理模型
推荐理由：这篇论文用老师模型和基础模型的差值做蒸馏信号，比直接模仿老师更强，数学代码推理都更好，训练时间还短。
原文
09:21
09:21官方账号arXiv cs.LG@Saptarshi Roy, Debepsita Mukherjee, Pratik Patil
该论文研究了整流流（Rectified Flow）的最优自蒸馏问题，其中学生模型在真实RF速度和教师速度的混合数据上训练，理论证明可提升教师模型。对于带有岭正则化的线性RF，作者推导了精确的仿射路径恒等式，并给出了最优混合系数的闭式解，正混合修正欠正则化教师，负混合修正过正则化教师。同时提出了一次广义交叉验证（GCV）方法，避免网格搜索和重复重拟合。实验在高斯模型、高斯混合和图像数据上验证，该方法在速度风险、模态恢复和有限步生成上均优于教师和纯蒸馏。
论文Rectified FlowSelf-DistillationLinear Probing
推荐理由：这篇论文用严格理论证明和实验验证了整流流中自蒸馏的改进方法，想了解生成模型自训练优化的可以看看。
原文
02:04
01:46
7月14日
23:08
7月10日
09:46
09:46官方一手arXiv: DeepSeek@Vinay Kumar Chaganti
该论文研究将8B推理教师模型deepseek-r1:8b蒸馏为0.6B学生模型Qwen3-0.6B（使用QLoRA，三个随机种子）。学生模型每篇处理时间0.8秒，教师模型需39秒，速度提升约48倍。在摘要质量上，学生模型恢复教师与基线之间58%的差距，比约束解码高16.8分，比少样本提示高4.9分。相同规模的非推理教师（非deepseek-r1）训练的学生表现不优于未经微调的基线，表明摘要提升源于教师的推理特性。推理教师传递写作质量，托管管线传递标签多样性；在22篇短源文章中，指令教师的学生更忠实（74 vs 55篇忠实），而推理系学生易编造内容。
论文deepseek-r1Qwen3-0.6BQLoRA
推荐理由：这篇论文对比了蒸馏不同教师模型的效果，发现推理型教师擅长教写作质量，托管型管线擅长教标签多样性，对选哪种蒸馏方案做端侧部署很有参考价值。
原文
7月7日
11:11
11:11官方账号arXiv cs.AI@Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard
TREK提出一种分阶段训练方法，解决GRPO在困难提示上的探索停滞问题。该方法先用蒸馏将教师模型（如DeepSeek-V4）的已验证轨迹拉入学生模型支持域，再返回标准GRPO精炼。在数学推理中，TREK将Qwen3-8B在AIME 2025上从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。在代理任务上，ALFWorld成功率从75.8提高到82.8，ScienceWorld从12.5提高到26.7。TREK的泛化优势在于仅需已验证输出轨迹，可兼容黑盒或白盒教师。
论文TREKGRPO蒸馏
推荐理由：这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。
原文
6月30日
13:46
13:46官方账号arXiv cs.AI@Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan
精选
DOPD是一种advantage-aware的双重蒸馏范式，通过动态路由令牌级监督信号，在特权教师和特权学生策略之间进行分配，缓解了传统同策略蒸馏中的特权幻觉问题。实验在LLM（如GPT-2）和VLM（如CLIP）上验证，结果显示DOPD在稳定性和鲁棒性等指标上持续优于Vanilla OPD。
论文DOPDLLMVLM
推荐理由：这篇论文提出了一种新蒸馏方法DOPD，通过分令牌监督解决特权幻觉，在LLM和VLM上效果都更好，适合关注模型压缩的研究者。
原文
10:05
10:05官方账号arXiv cs.LG@Chen Wang, Peiran Yun, Pan Xie, Ke Deng
现有扩散模型和连续流生成模型的确定性采样可视为求解学习到的ODE动力学，但准确离散化通常需要多步。论文指出轨迹匹配范式存在理论局限：两个学生模型可达到相同轨迹匹配损失却诱导不同端点边际分布，影响生成质量。为克服这一局限，提出边际对齐正则化器，通过追踪学生模型ODE沿线的对数密度变化并利用冻结教师模型评分来惩罚学生与教师边际分布的差异，无需辅助网络或对抗优化。该框架统一适用于原始再流和分段再流等再流族，并证明局部边际对齐通过 telescoping 总变差界控制最终时刻分布差异。在基准骨干网络上的实验验证了该方法在少步生成中的有效性。
论文Reflow扩散模型蒸馏
推荐理由：这篇论文发现了再流蒸馏的隐藏问题——轨迹匹配可能不够，还提出了一个简单有效的边际对齐正则化，不用额外网络就能提升少步生成质量，值得做扩散加速的人看看。
原文
6月29日
23:38
6月26日
10:47
10:47官方账号arXiv cs.LG@Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng Chu, Leigang Qu, Lingdong Kong, Wei Liu, Tat-Seng Chua
针对文本到图像（T2I）、局部编辑和全局编辑等能力难以统一且相互冲突的问题，论文提出DanceOPD框架。该框架基于流匹配模型，采用策略生成场蒸馏，将每个样本路由至对应能力场，并查询低噪声的学生诱导状态，用速度MSE目标训练。在T2I、编辑、真实性场吸收和CFG吸收等实验上，DanceOPD改善了多能力组合效果，增强了目标能力同时保持基准生成质量。
论文DanceOPD流匹配模型图像生成
推荐理由：这篇论文用DanceOPD把T2I、局部编辑和全局编辑统一到一个模型里，解决了相互干扰的问题，效果显著提升。
原文
6月25日
18:15
18:15shao__meng@shao__meng
73°
Anthropic指控阿里巴巴通过近25000个虚假账户大规模获取其Claude模型能力进行蒸馏。这一数字超过Anthropic此前指控DeepSeek、MiniMax和Kimi的数量总和。事件凸显了AI模型API被滥用于竞争对手蒸馏的风险。
行业AnthropicClaudeAlibaba
事件专题
推荐理由：朋友，Anthropic说阿里用了2.5万个假账号偷偷薅Claude的羊毛，比之前告DeepSeek他们加一起还多，这操作挺猛。
原文
6月3日
10:45
10:45官方账号arXiv cs.LG@Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni
精选
受人类学习过程启发，研究者提出了一种名为“睡眠”的范式，让大语言模型能够持续学习，将短期脆弱记忆蒸馏为稳定的长期知识。该范式包含两个阶段：记忆巩固（通过知识播种将小模型记忆蒸馏到大模型）和梦境（模型通过强化学习生成合成数据自我改进）。实验证明，该方法在长时任务、持续学习、知识整合和少样本泛化上效果显著。这项工作解决了LLM无法持续更新长期参数的核心痛点，为模型终身学习提供了新思路。
论文持续学习记忆巩固蒸馏
推荐理由：做持续学习和模型终身优化的研究者值得关注——它用“睡眠”机制解决了LLM记忆遗忘问题，比传统微调更接近人类学习方式，看完会有启发。
原文
10:23
10:23官方账号arXiv cs.AI@Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal
随着计算资源增长快于高质量文本供给，多轮训练成为新常态，但单模型在几轮后即饱和。论文提出“超时代预训练”（q0），将多轮预算转化为多样模型群体并聚合预测，达到比单模型更低的验证损失。q0包含三个核心原语：反相关学习率与权重衰减的循环调度、链式蒸馏、以及基于学习先验的模型选择与加权。在1.8B参数模型、100M FineWeb tokens上，q0仅用约56轮就匹配了256轮强集成基线，效率提升约4.6倍，在Slowrun设置下累积数据效率达12.9倍。该方法还给出了不同预算下的最优分配策略，从单轮到最大预算均可适用。
论文预训练数据效率模型集成
推荐理由：多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。
原文
5月30日
12:34
12:34orange.ai@oran_ge
有投资人爆料称 Anthropic 的 Claude 模型蒸馏了中国模型 Kimi 和 Qwen，而非此前猜测的 Cursor。该说法最初在私下交流中传出，如今似乎有更多证据浮出水面。事件折射出 AI 行业模型蒸馏现象的普遍性与真假难辨的现状。作者调侃称责任全在崔茂。
行业AnthropicClaude蒸馏
事件专题
推荐理由：模型蒸馏争议触及 AI 行业的核心竞争与伦理问题，关注大模型生态的从业者和投资人值得一读，看完会对行业潜规则有新认识。
原文
5月29日
13:27
13:27IT之家（博客/媒体）
72°
Anthropic 今日发布旗舰大模型 Claude Opus 4.8，并宣布完成 650 亿美元融资，估值逼近万亿美元。然而，模型上线后不久，用户通过 API 测试发现，Opus 4.8 在回答身份问题时自称是阿里通义千问或 DeepSeek，引发“蒸馏”争议。Anthropic 此前曾指责中国公司进行“工业规模的蒸馏攻击”，但自身模型却出现类似问题，被指“双标”。新模型在编码、推理等方面有提升，并增加了“思考强度控制”功能。
行业Claude Opus 4.8蒸馏Anthropic
事件专题
推荐理由：Anthropic 一边指责中国公司蒸馏，一边自己的模型却自称是千问和 DeepSeek，做 AI 模型训练或关注行业伦理的开发者值得看看这场“双标”闹剧。
原文
5月25日
12:24
5月21日
10:57
10:57官方账号arXiv cs.AI@Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine
精选
预训练扩散模型常作为冻结教师模型用于下游任务（如文本到 3D、单步蒸馏、数据归因），但这些任务依赖蒙特卡洛期望估计梯度，方差大且计算成本高。本文提出 CARV 框架，通过分层蒙特卡洛估计器，在扩散噪声重采样上摊销昂贵上游计算，结合时间步重要性采样和分层逆 CDF 构造，有效降低方差。在文本到 3D 蒸馏和归因实验中，CARV 实现 2-3 倍有效计算加速，且不改变目标函数；在单步蒸馏中方差降低一个数量级，但下游 FID 无改善，表明此时方差已非瓶颈。该工作为扩散模型下游应用提供了高效方差缩减方案。
论文扩散模型方差缩减蒙特卡洛估计
推荐理由：做扩散模型下游应用（如文本到 3D、蒸馏）的团队，如果被梯度方差和计算成本困扰，CARV 的 2-3 倍加速值得直接尝试。
原文
5月20日
11:39
11:39官方账号arXiv cs.LG@Thien Le, Melanie Weber
精选
本文研究了在组合优化任务中，如何将大型模型的知识蒸馏到更小、更高效的模型。作者假设目标模型是图神经网络，其架构与任务的动态规划算法对齐。基于决策树蒸馏的最新理论分析，论文证明了当源模型足够丰富（通过线性表示假设形式化）时，蒸馏问题可以在动态规划转移函数的复杂度参数内高效解决。该工作为算法对齐框架下的成功蒸馏提供了严格充分条件。
论文蒸馏组合优化图神经网络
推荐理由：组合优化任务通常依赖大型模型，但部署成本高。本文给出了理论保证，让做图神经网络和算法对齐的开发者知道何时可以安全地蒸馏到小模型，值得关注。
原文
5月19日
11:01
11:01官方账号arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans
精选
Dual-Rate Diffusion 提出了一种新的扩散模型加速方法，通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征，轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上，该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外，该方法与蒸馏技术（如 Moment Matching Distillation）兼容，可进一步加速少步生成。
论文扩散模型推理加速ImageNet
推荐理由：扩散模型推理慢是落地痛点，Dual-Rate Diffusion 用轻量网络复用特征，做图像生成的团队可以直接拿来加速现有模型，效果不打折。
原文
5月15日
00:24
5月11日
22:16