#蒸馏

有人聊 Beam 这模型：猜它没用 Claude 蒸馏，纯靠 RL 炼出来的，看看不带 Claude 血统能打几分。

Teortaxes@teortaxesTex原文

研究Qwen3如何整合多个RL训练教师，发现梯度传递和参数更新的关键机制。

OpenAI 揭露了一场大规模模型蒸馏攻击，1.5 万用户参与，矛头直指月之暗面。

一篇把 14B 视频世界模型压到 1.3B、四步就能跑的蒸馏论文，专治 DMD 蒸馏后机器人动作变僵的问题，做具身智能的可以看看。

有人把 Whisper 的编码器砍掉 6 层还不用改推理代码，只用无标注语音蒸馏就把 WER 拉回 20.1%，模型直接可以下载用。

量化到 2-bit 后模型做数学题会发疯循环？这篇论文用 on-policy 蒸馏把 MATH-500 保留率从 35% 拉到 70%，做端侧部署的可以看看。

商务部回应美国AI蒸馏指控，揭露美方双重标准，强调蒸馏是行业通行做法。

VISTA方法改进了OPSD蒸馏技术，通过验证器指导教师自适应，在数学推理任务上显著提升性能。

扎克伯格公开挺蒸馏，说模型互相学习是开源根本，这波站队值得看看。

Suhail@Suhail原文

想提升数学推理模型？SKALD 把技能蒸馏进权重，比 GRPO 最高涨 12 分，还不用改推理时的输入。

看黄仁勋怎么回应开源模型蒸馏闭源模型，还预测互联网99%是AI内容。

AI Will@FinanceYF5原文

它把慢吞吞的自回归VLA模型变成并行扩散模型，性能不掉，推理快2.8倍，还能跑自动驾驶多任务。

看看Anthropic对开源模型的最新态度，不是一刀切禁止，而是主张芯片管制和安全测试，与中国相关风险的分析很具体。

Suhail 出100万美元支持蒸馏研究，还说监管可能反而让蒸馏技术加速10倍，想听听他怎么看。

Suhail@Suhail原文

Schmidhuber本人说蒸馏是他1991年在欧洲发明的，现在开源模型可以用这个技术蒸馏商业公司的成果。

Aravind Srinivas@AravSrinivas原文

美国科技顾问直接点名Moonshot AI偷学Anthropic的Fable造Kimi K3，K3最近成绩逼近前沿，但背后是蒸馏争议，这场中美AI摩擦值得关注。

The Rundown AI@therundownai11 个信源在谈原文

Ben Thompson提出了一个实际解决蒸馏禁令与训练数据版权矛盾的方案，同时还能帮美国开源模型对抗中国对手，值得一看。

Jerry Liu 说通用 harness 不如任务专用，先用 Codex/Claude Code 打底再蒸馏，实践性很强。

Jerry Liu@jerryjliu0原文

Suhail一针见血：别再拿蒸馏当挡箭牌禁开放模型，中国早就不玩了，背后是实验室想守住摇钱树。

Suhail@Suhail原文

这篇论文用老师模型和基础模型的差值做蒸馏信号，比直接模仿老师更强，数学代码推理都更好，训练时间还短。