7月23日
11:33
11:33官方账号arXiv cs.AI@Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
该论文研究了医学影像基础模型表征收敛的原因。通过对比18个图像编码器和7个文本编码器(参数从7M到27B,涵盖五种成像模态,使用650,982张胸片),发现自监督目标的收敛度(40.4%)远高于标签监督(21.1%)和图像-文本(3.3%)。收敛度随模型规模增长不显著(Spearman 0.302,p=0.223)。线性分类器跨编码器转移后仍保留约85%的原始性能。结论是自监督目标而非临床监督驱动了表征收敛。
推荐理由:这篇论文用大量数据和对照实验拆解了医学基础模型表征收敛的真正原因,发现关键不是临床标签而是自监督目标,对训练和评估模型很有启发。