#蒸馏

这篇论文用严格理论证明和实验验证了整流流中自蒸馏的改进方法，想了解生成模型自训练优化的可以看看。

别再信中国蒸馏了，人家可能本来就很强。这篇推文让你看清实验室的真实水平。

Suhail@Suhail原文

想调大模型temperature但发现被锁死了？看看这个讨论，可能是为了防止蒸馏，有意思。

向阳乔木@vista8原文

这篇论文对比了蒸馏不同教师模型的效果，发现推理型教师擅长教写作质量，托管型管线擅长教标签多样性，对选哪种蒸馏方案做端侧部署很有参考价值。

这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。

这篇论文发现了再流蒸馏的隐藏问题——轨迹匹配可能不够，还提出了一个简单有效的边际对齐正则化，不用额外网络就能提升少步生成质量，值得做扩散加速的人看看。

Meta怕工程师用Claude和Codex偷偷训练自家模型，直接封了，挺直接的做法。

这篇论文用DanceOPD把T2I、局部编辑和全局编辑统一到一个模型里，解决了相互干扰的问题，效果显著提升。

朋友，Anthropic说阿里用了2.5万个假账号偷偷薅Claude的羊毛，比之前告DeepSeek他们加一起还多，这操作挺猛。

shao__meng@shao__meng11 个信源在谈原文

多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。

模型蒸馏争议触及 AI 行业的核心竞争与伦理问题，关注大模型生态的从业者和投资人值得一读，看完会对行业潜规则有新认识。

orange.ai@oran_ge11 个信源在谈原文

做模型蒸馏或训练AI的团队值得关注——过度蒸馏可能导致模型行为异常，影响实际部署效果，建议点开了解具体表现和潜在风险。

Yangyi@Yangyixxxx原文