#词表

做 tokenizer 研究或选词表大小的都该看看：BPB 和那些"tokenizer 无关"指标没你想的那么可靠，文中给出了 0.989 相关性崩到 0.057 的具体分析。