#ConvexTok

分词是NLP的基础环节，贪心算法长期占据主流——ConvexTok用凸优化给出了可证明接近最优的方案，做分词器优化或语言模型预训练的团队值得关注。