AITOP

MNIST

共 4 条相关 AI 资讯
7月7日
12:42
12:42官方账号arXiv cs.LG@Heloísa Dias Viotto, Cauê Samonek, Lucas Garcia Pedroso, Marcos Sunye, André Abed Grégio, Paulo Lisboa de Almeida
本论文针对孪生验证网络（Siamese verification networks）中距离阈值的设定问题，提出了一种基于双峰分布假设的无监督方法。该方法通过识别距离分布两个模态之间的最低点来确定阈值，无需标注数据。在MNIST、CIFAR-10、LFW和PKLot四个数据集上的实验显示，平均验证准确率达到94%，与需要标注的等错误率（EER）方法性能相当。该工作使得验证阈值可直接在部署环境中更新，降低了人工标注成本。
论文孪生网络验证无监督学习图像验证MNIST
推荐理由：这篇论文教你怎么不用标数据就自动设好验证阈值，在四个数据集上测了准确率94%，跟用标数据的方法差不多，挺实用的。
原文
6月26日
10:36
6月18日
10:56
10:56官方账号arXiv cs.LG@Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke
NeSyCat Torch 扩展了 ULLER 框架，通过强单子和真值聚合结构统一了经典、模糊、概率和神经语义。该实现使用分布单子进行参考语义和度量评估，并引入惰性对数张量单子实现数值稳定可微训练。在 MNIST 加法任务上，基于 HaskTorch、JAX 和 PyTorch 的实现比 LTN 和 DeepProbLog 更快且准确率更高，同时达到接近 DeepStochLog 的精度。该框架保持单子参数化，未来可扩展至连续概率（如 Giry 单子）。
论文NeSyCat TorchULLER神经符号学习MNISTPyTorch
推荐理由：把神经符号学习统一到一个可微框架里，在 MNIST 加法上比 LTN 和 DeepProbLog 又快又准，还兼容 PyTorch。
原文
5月25日
10:02
10:02官方账号arXiv cs.LG@Vincent C. Brockers, Roman D. Ventzke, Valentin Neuhaus, Belén Hidalgo-Ogalde, Viola Priesemann
本文研究了神经网络中的“潜意识学习”现象，即学生模型通过教师模型在任务无关的输入-输出对上进行蒸馏，从而获得任务相关知识或偏差。先前研究认为这需要师生初始化高度匹配，但本文证明只需兼容的输出头即可实现。在MNIST数据集上，通过将输出分为辅助头（处理噪声）和分类头，即使在隐藏层随机初始化、增减层或改变架构（如MLP到CNN）的情况下，潜意识学习仍会发生。兼容的辅助头能传递可恢复的教师信号，使学生表征更接近教师。当分类头也兼容时，仅用噪声训练的学生模型可接近甚至匹配教师的任务性能。本文还建立了理论解释机制并推导了失效的上界，将潜意识学习从意外现象转化为可预测的机制。
论文知识蒸馏神经网络潜意识学习表征对齐MNIST
推荐理由：这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配，而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读，它可能改变你对蒸馏数据选择的认知。
原文