视觉预训练：一种可扩展的语言智能预训练方法

这篇论文挑战语言模型必须依赖纯文本预训练的假设，系统性地比较了无监督视觉预训练与纯文本预训练在5个骨干网络和多项基准上的表现。实验表明，基于包含图形、公式和版式的视觉文档进行预训练，在相同语料下持续优于纯文本预训练，提升幅度在1.2%-4.7%之间。该方法不依赖文本提取，直接利用视觉特征学习语言智能，为大规模预训练提供了更高效的路径。