7月13日
10:51
10:51官方账号arXiv cs.AI@Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen
这篇论文挑战语言模型必须依赖纯文本预训练的假设,系统性地比较了无监督视觉预训练与纯文本预训练在5个骨干网络和多项基准上的表现。实验表明,基于包含图形、公式和版式的视觉文档进行预训练,在相同语料下持续优于纯文本预训练,提升幅度在1.2%-4.7%之间。该方法不依赖文本提取,直接利用视觉特征学习语言智能,为大规模预训练提供了更高效的路径。
推荐理由:这篇论文发现,把文档当图片直接预训练,比先转成纯文本再训练效果更好,感兴趣的可以看看实验细节。