#自预训练

这篇论文揭示了自预训练提升Transformer序列分类的核心机制——学习邻近交互注意力模式，做序列建模或注意力机制研究的开发者值得深入理解，尤其对改进长序列分类有启发。