AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：表征对齐×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
11:36
11:36arXiv cs.LG@Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre
精选
本文提出一个统一框架，将概念对齐分解为“对齐什么”（表征 vs 概念）和“对齐层级”（实例级 vs 分布级）两个维度，从而定义四种属性。作者发现现有方法常混淆这些属性，优化一个目标并不能可靠恢复其他目标。他们引入 InterVenchA 基准来独立测量提取质量、翻译质量和概念一致性。最后提出 CoSAE（耦合稀疏自编码器），联合强制执行互补的对齐目标，仅需 0.1% 配对数据即可在分布目标锚定下恢复实例级对齐。这项工作表明概念对齐本质上是多目标优化问题，需要明确定义、测量和优化。
论文表征对齐概念分解稀疏自编码器多目标优化可解释性
推荐理由：做表征对齐、多模态学习或可解释性研究的团队，这篇论文把概念对齐的混乱局面理清了——CoSAE 用极少量配对数据就能实现强对齐，值得直接复现试试。
原文
5月25日
10:02
10:02arXiv cs.LG@Vincent C. Brockers, Roman D. Ventzke, Valentin Neuhaus, Belén Hidalgo-Ogalde, Viola Priesemann
本文研究了神经网络中的“潜意识学习”现象，即学生模型通过教师模型在任务无关的输入-输出对上进行蒸馏，从而获得任务相关知识或偏差。先前研究认为这需要师生初始化高度匹配，但本文证明只需兼容的输出头即可实现。在MNIST数据集上，通过将输出分为辅助头（处理噪声）和分类头，即使在隐藏层随机初始化、增减层或改变架构（如MLP到CNN）的情况下，潜意识学习仍会发生。兼容的辅助头能传递可恢复的教师信号，使学生表征更接近教师。当分类头也兼容时，仅用噪声训练的学生模型可接近甚至匹配教师的任务性能。本文还建立了理论解释机制并推导了失效的上界，将潜意识学习从意外现象转化为可预测的机制。
论文知识蒸馏神经网络潜意识学习表征对齐MNIST
推荐理由：这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配，而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读，它可能改变你对蒸馏数据选择的认知。
原文