论文11:41TokEval: 分词器评估套件TokEval帮你更科学地评估分词器,实验显示不同特性影响不同能力,比盲目预训练更高效#TokEval#tokenizer#language model#evaluation metricsaarXiv cs.LG@Clara Meister原文稍后读已读值得跟进有用关注 TokEval