AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:潜意识学习×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月25日
10:02
10:02arXiv cs.LG@Vincent C. Brockers, Roman D. Ventzke, Valentin Neuhaus, Belén Hidalgo-Ogalde, Viola Priesemann
本文研究了神经网络中的“潜意识学习”现象,即学生模型通过教师模型在任务无关的输入-输出对上进行蒸馏,从而获得任务相关知识或偏差。先前研究认为这需要师生初始化高度匹配,但本文证明只需兼容的输出头即可实现。在MNIST数据集上,通过将输出分为辅助头(处理噪声)和分类头,即使在隐藏层随机初始化、增减层或改变架构(如MLP到CNN)的情况下,潜意识学习仍会发生。兼容的辅助头能传递可恢复的教师信号,使学生表征更接近教师。当分类头也兼容时,仅用噪声训练的学生模型可接近甚至匹配教师的任务性能。本文还建立了理论解释机制并推导了失效的上界,将潜意识学习从意外现象转化为可预测的机制。
论文知识蒸馏神经网络潜意识学习表征对齐MNIST

推荐理由:这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配,而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读,它可能改变你对蒸馏数据选择的认知。
原文
精选全部日报登录