#AdaBPE

一篇改分词的论文：AdaBPE 能让 LaTeX 这类跨空格的结构化内容不被切碎，五个数据集上验证了效果。做 tokenizer 或训练模型的可以看看。