教师模型相关 AI 资讯 · AI 热点

8月24日

01:13

01:13

lmarena.ai@lmarena_ai

NVIDIA应用深度学习研究副总裁@ctnzr将参与Arena Conversations新节目，探讨教师模型在构建强大能力中的作用、训练后推理挑战的增长、开源模型的重要性以及这对NVIDIA构建Nemotron的意义。节目将于8月24日早上9点（东部时间）/6点（太平洋时间）播出。

行业 NVIDIA 教师模型开源模型

推荐理由：想了解NVIDIA如何利用教师模型和开源模型构建Nemotron的读者，不要错过这场专家访谈！

5月22日

10:46

10:46

官方一手arXiv: DeepSeek@Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

精选

论文研究了在推理任务中，教师模型token的可靠性并非均匀分布，而是与序列中的位置强相关。作者提出分支可行性诊断方法，发现位置得分是预测教师token可靠性的最强指标（AUROC达0.83），而局部不确定性得分效果很差。基于此，提出位置加权在线策略自蒸馏（PW-OPSD），在保持原有训练框架的同时，对越靠后的token赋予更高权重。在Qwen3-4B上，PW-OPSD使AIME 2024和2025的Avg@12分别提升1.0和1.1分，在DeepSeek-R1-Distill-Llama-8B和Olmo-3-7B-Think上也取得一致改进。该方法无需额外教师计算，直接利用轨迹结构提升蒸馏效果。

论文推理模型自蒸馏位置加权

推荐理由：做推理模型蒸馏的团队终于有了一个简单有效的改进方向——不用改架构，只需调整token权重就能提升1分以上，值得在自家模型上复现。