7月9日
09:53
09:53官方账号arXiv cs.LG@Hyunjae Kim, Dain Kim, Pan Xiao, Serina S. Applebaum, Younjoon Chung, Xuguang Ai, Yu Yin, Roy Jiang, Yuexi Du, Yawen Wei, Yiming Kong, Tuo Guo, Zhiyuan Cao, Mengmeng Du, Yuelei Fu, Yan Hu, Rui Shi, Gui Yang, Kevin W. Jin, Yuntian Liu, Yuxuan Tian, Jonathan Marquez, Zhen Chen, Sheng Zhang, Hoifung Poon, Hua Xu, Jaewoo Kang, Qingyu Chen
精选
MedPMC从610万篇PMC文章中自动筛选出1100万医学图像-文本对。人工评估中,95.3%的图像具有医学相关性,而此前数据集仅19.7%。在26项基准测试中,基于MedPMC训练的CLIP-style模型零样本AUC平均提升7.1个百分点。作为MLLM的视觉编码器,其医学VQA准确率提升1.9和16.9个百分点。在1万张真实临床照片中,形态到图像检索Recall@5提升11.7个百分点。
推荐理由:想训练医学多模态模型但缺高质量数据?MedPMC从610万篇论文里筛出1100万对数据,效果比现有数据集好5倍。