10:36arXiv cs.LG@Yu-Neng Wang, Sara Achour73°模拟硬件(如耦合振荡器)能耗比数字计算低两个数量级,但物理方程限制无法直接运行现代生成模型。该文提出Analog Interaction Systems(AIS)框架,利用时变分段参数和隐藏物理状态两种机制缩小表达差距,并采用Wasserstein GAN训练。在MNIST和Fashion-MNIST上,基于振荡器的AIS分别取得FID 27.6和80.8,比此前最优模拟硬件生成模型提升3-4倍。能量估算为每张生成图像23μJ,较数字基线降低约100倍。AI模型AIS模拟硬件生成模型低功耗MNIST推荐理由:模拟硬件跑生成模型能耗低两数量级,AIS框架在MNIST上FID仅27.6,比之前好3-4倍,适合低功耗场景。原文
10:56arXiv cs.LG@Daniel Romero Schellhorn, Till Mossakowski, Björn GehrkeNeSyCat Torch 扩展了 ULLER 框架,通过强单子和真值聚合结构统一了经典、模糊、概率和神经语义。该实现使用分布单子进行参考语义和度量评估,并引入惰性对数张量单子实现数值稳定可微训练。在 MNIST 加法任务上,基于 HaskTorch、JAX 和 PyTorch 的实现比 LTN 和 DeepProbLog 更快且准确率更高,同时达到接近 DeepStochLog 的精度。该框架保持单子参数化,未来可扩展至连续概率(如 Giry 单子)。论文NeSyCat TorchULLER神经符号学习MNISTPyTorch推荐理由:把神经符号学习统一到一个可微框架里,在 MNIST 加法上比 LTN 和 DeepProbLog 又快又准,还兼容 PyTorch。原文
10:02arXiv cs.LG@Vincent C. Brockers, Roman D. Ventzke, Valentin Neuhaus, Belén Hidalgo-Ogalde, Viola Priesemann本文研究了神经网络中的“潜意识学习”现象,即学生模型通过教师模型在任务无关的输入-输出对上进行蒸馏,从而获得任务相关知识或偏差。先前研究认为这需要师生初始化高度匹配,但本文证明只需兼容的输出头即可实现。在MNIST数据集上,通过将输出分为辅助头(处理噪声)和分类头,即使在隐藏层随机初始化、增减层或改变架构(如MLP到CNN)的情况下,潜意识学习仍会发生。兼容的辅助头能传递可恢复的教师信号,使学生表征更接近教师。当分类头也兼容时,仅用噪声训练的学生模型可接近甚至匹配教师的任务性能。本文还建立了理论解释机制并推导了失效的上界,将潜意识学习从意外现象转化为可预测的机制。论文知识蒸馏神经网络潜意识学习表征对齐MNIST推荐理由:这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配,而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读,它可能改变你对蒸馏数据选择的认知。原文