AITOP

表征学习

共 4 条相关 AI 资讯
7月23日
11:33
11:33官方账号arXiv cs.AI@Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
该论文研究了医学影像基础模型表征收敛的原因。通过对比18个图像编码器和7个文本编码器（参数从7M到27B，涵盖五种成像模态，使用650,982张胸片），发现自监督目标的收敛度（40.4%）远高于标签监督（21.1%）和图像-文本（3.3%）。收敛度随模型规模增长不显著（Spearman 0.302，p=0.223）。线性分类器跨编码器转移后仍保留约85%的原始性能。结论是自监督目标而非临床监督驱动了表征收敛。
论文医学影像自监督学习表征学习
推荐理由：这篇论文用大量数据和对照实验拆解了医学基础模型表征收敛的真正原因，发现关键不是临床标签而是自监督目标，对训练和评估模型很有启发。
原文
7月15日
10:09
10:09官方账号arXiv cs.LG@Blanca Cano-Camarero, Ángela Fernández-Pascual, José R. Dorronsoro
论文提出CoCo损失函数，通过鼓励类内坍缩和类间对比来学习归一化且结构良好的表示。理论分析表明，CoCo相比点回归和交叉熵损失具有更接近最优配置的初始化、更有信息量的梯度和更强的类坍缩激励。在OpenML-CC18基准的多个表格数据集上，CoCo实现了与核SVM、随机森林、点回归和基于交叉熵的神经网络相当的性能。实验还证明CoCo促进了更紧的类聚类和更快的收敛速度。这些结果表明CoCo损失在保持竞争性预测性能的同时，能有效学习判别性表示。
论文CoCo损失函数表征学习
推荐理由：这篇论文搞了个新损失函数CoCo，训练收敛快，在OpenML-CC18上跟SVM打成平手，做表格分类任务的可以试试。
原文
6月16日
14:07
5月20日
11:30
11:30官方账号arXiv cs.LG@Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe
精选
该论文通过高维分析框架，研究了预训练表征维度对下游线性探测泛化性能的影响。作者将预训练建模为无标签数据的主成分分析，下游任务建模为有标签数据的线性回归，并推导出训练误差和泛化误差的精确表达式。研究发现，当预训练数据充足但下游数据稀缺时，最大压缩的表征最优；而当预训练数据有限时，高维表征泛化更好。论文还量化了无标签数据与有标签数据之间的替代关系，并在自编码器和预训练大语言模型中观察到类似现象。
论文预训练表征学习泛化理论
推荐理由：这篇论文为预训练表征的维度选择提供了理论指导，做迁移学习或模型压缩的研究者可以直接参考其结论来优化训练策略。
原文