#SWA

这篇论文解释了为什么混合模型不需要显式位置编码也能处理序列位置，对理解transformer架构很有价值。

不用训练多次就能拿到类似深度集成的对称性提升，做数据增强的可以看看。