#自蒸馏

只拿 200 道题微调，就让 LLaDA-8B-Instruct 的数学和代码成绩跑赢 SFT 和扩散 RL，方法还挺省算力，做扩散模型训练的可以看看。

清华团队新方法用合成场景训练MLLM，提升多区域视觉理解，在6个基准上平均涨3.23分。

清华团队推出 ComputerSD，让计算机使用智能体能从实时 GUI 反馈中学习，比传统方法效果更好。

AdviSD让小模型指导大模型，在Gemini和Claude上效果显著，还不需额外计算资源。

这篇论文讲的是让 LLM 从自身输出学习时怎么防止训练崩掉，用 Fisher 信息来控制每一步调整多远，做训练优化的可以看看。

Perplexity 分享了怎么让 Computer 模型从自己的错误里学习，A/B 测试里工具调用失败率降了 21.2%，做法挺值得看看的。

Suhail@Suhail原文

Perplexity 公开了他们训练 Computer 智能体的后训练细节，用 RFT 加自蒸馏纠正错误工具调用，实测失败率降了 21%，做 agent 的话值得看看他们怎么用真实用户会话。

Aravind Srinivas@AravSrinivas原文

DualOPSD在模型规模和性能上都有显著提升，是自蒸馏领域的一个新突破。与OPSD相比，DualOPSD在多个基准测试中取得了更好的成绩，值得关注。

这篇论文把MoE路由分歧讲透了，用分解和实验证明路由项影响很小，做自蒸馏的值得看看。

GUI智能体部署后不会自我进化的问题有解了，这个框架用反射引导自蒸馏，六个基准平均涨7.4个点，做智能体适配的可以看看。

不需要标注和外部反馈，U-OPSD靠投票让Qwen3数学成绩再涨一截，追平甚至超过OPSD和GRPO。

OPD-V把模态平衡当特权信息，用正负教师挑token做自蒸馏，在6个基准、4种骨干上更省训练费还更准。

这篇论文把SDPO从简单题搬到难题上，发现loss降了但准确率不涨，还提出PI偏置分数解释原因，值得做蒸馏的人看。

TurnSight 把工具推理的强化学习拆到回合级，用事后视角筛信号，三个基准上都有效，代码开源了。

音乐Transformer换个调就认不出旋律，EMT用自蒸馏让它真正学到结构，生成效果还比SOTA好。

这篇论文把OPSD的隐式β变成可控参数，用蒸馏近似强化学习，数学推理上比原版更稳更强。

这篇论文提出了VCSD，不需要外部老师就能让多模态模型自己教自己，在Qwen3-VL上几个规模都涨了4-5个点，而且不增加推理成本。

这篇论文分析了评分RL中信号丢失的普遍问题（57%样本受影响），并提出CriPO自蒸馏方法，在医学和科学基准上效果更好且训练更快。

这篇论文把OPSD训练时模型思维崩溃的原因和解决方法都讲清楚了，AD-OPSD在数学题上能提4个点，做推理优化的值得看看。

Neuron-OPSD用神经元信号挑训练数据，让大模型自己教自己，不用人工标注，效果还更稳。

这篇论文提出了ViGOS，专门解决多模态模型自蒸馏时只看文本不看图的毛病，在多个视觉语言基准上有效果。

该研究通过细粒度分析挑战了蒸馏实践中默认假设，为选择教师模型和蒸馏配置提供了理论指导，对大规模推理模型训练具有实际参考价值。