知识蒸馏

推荐理由：看看Kimi K3和GLM-5.3怎么追上美国模型的，西方实验室又怎么甩锅的，挺有意思的。

推荐理由：航天图像分割常缺标注，这论文用 SAM 3 自动生成伪标签，还解决了伪标签几何错误。TinyUNet 又小又快，边界指标提升明显。

推荐理由：这论文做了个教室安全识别的新基准和轻量模型，计算量只要大模型的十分之一，效果还更好，适合关心AI+教育的人看看。

推荐理由：这是篇讲怎么把大模型因果推理能力蒸馏到小模型的新论文，CausalOPD专治“答案对但推理过程错”，三个领域里错误率从15.7%砍到4.4%，小模型还赢过了大牌模型。

推荐理由：这篇论文给多模态蒸馏提了个新招：用师生分歧定位该纠的感知错误，八个基准分数明显涨，做蒸馏的可以看。

推荐理由：想提升异构模型蒸馏效果？CoCaRS 用三种新模块解决特征冗余和系数敏感问题，实验在 CIFAR-100 和 ImageNet-1K 上表现更好。

推荐理由：这篇论文提出了一个很聪明的改进：当学生模型推理跑偏时，让老师模型短暂接管一段，再交回学生继续训练。在Qwen3小模型上效果明显，数学推理准确率提升，训练还更快。

推荐理由：论文提出OrthKD蒸馏方法，用异构教师知识教轻量模型，DR筛查准确率从0.507涨到0.728，适合边缘部署。

推荐理由：这篇论文讲的是怎么把闭源模型的搜索能力教给开源模型，用多智能体蒸馏的方法挺巧的。

推荐理由：这篇论文发现了现有扩散蒸馏方法在CFG下的一个隐蔽问题，并给出了一个简单的修正方案。做扩散模型蒸馏或视频生成的同学可以看看。

推荐理由：论文用实验数据揭示了一个反直觉现象：学生在模仿老师时，67%的token在“同意但失败”，说明局部蒸馏有盲区。做模型蒸馏的朋友可以看看这个诊断方法。

推荐理由：这个新方法把强化学习和知识蒸馏结合在一起，解决了RL和OPD各自的短板，跨家族蒸馏效果尤其好。

推荐理由：他们挑战了多模态情感模型必须大的假设，用知识蒸馏搞出<1B的Light-MER，9个基准超了大模型还更快，做部署的可以看看。

推荐理由：论文搞了个8B的小模型FATE，专门给AI老师打分，比蒸馏前涨了22个点。还顺便测了Gemini、ChatGPT等，Gemini 2.5 Flash得分最高，挺有意思。

推荐理由：想在心电图分类上搞轻量化部署？LSTrans用知识蒸馏和低秩适配把大模型压缩到可穿戴设备上跑，基准测试上内存和速度都优化了。

推荐理由：这篇论文提出了一种新方法，可以在模型回答之前就预测它的置信度，比传统方法更准更省计算成本。

推荐理由：用弱模型训练强模型，Qwen3-1.7B在AIME 2024从48.3%飙到62.4%，只花4小时8卡A100。比直接RL还省，值得试试。

推荐理由：这篇论文告诉你，用模型自己问自己生成的问答数据来训练模型，可能会引入隐蔽的偏见和指令注入风险。他们用一个简单方法就能把问题率从88%压到13%，值得做数据合成的同学看看。

推荐理由：想用多视角多模态数据训练视频理解模型？UNIEGO用代理模型搞定异构教师蒸馏，在三个任务上刷新了纪录。

推荐理由：这篇论文揭穿了一个直觉错误：你以为给小白模型喂“学霸笔记”能变强，结果效果还不如它自己瞎写的解题草稿。原因是学霸的思路和它不匹配，硬学反而费劲。

推荐理由：直接提升小模型火灾分类精度

推荐理由：这条信息揭示了苹果与Google在AI合作上的真实关系，做AI模型训练或关注大厂博弈的开发者会感兴趣——苹果用蒸馏技术借力Gemini，但最终保持自主，值得点开看看背后的技术策略。

推荐理由：做无监督学习和持续学习的团队终于有了聚类场景的专用方案——FBCC 不依赖标签和旧数据就能保持聚类结构，做数据流聚类或隐私敏感场景的开发者可以直接参考实验设置。

推荐理由：X-Token 解决了知识蒸馏中分词器不匹配的痛点，做模型压缩或边缘部署的团队可以直接用这个思路提升小模型推理能力，值得关注。

推荐理由：苹果终于把 Gemini 用在了自家 AI 上——用蒸馏技术做本地模型，同时把部分 Siri 请求外包给谷歌云。做隐私合规或苹果生态开发的团队值得关注，这可能是未来端云混合 AI 的样板。

推荐理由：这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配，而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读，它可能改变你对蒸馏数据选择的认知。

推荐理由：Apple 这篇研究把 On-Policy Distillation 的坑和甜点都讲透了，做模型压缩或部署的团队可以直接参考，避免踩坑。