AITOP

分词器扩展

共 1 条相关 AI 资讯
7月17日
11:20
11:20官方账号arXiv cs.AI@Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner
固定分词器在预训练后对新语言无效，导致每个词被拆成更多token，增加延迟和计算。论文提出原地扩展方法，在现有BPE合并基础上继续添加新token，每个新token可精确分解为源token。将该方法应用于LFM2-8B-A1B（8B参数MoE模型），得到LFM2.5-8B-A1B，词汇量从原tokenizer扩展至128K。扩展后，印地语和越南语的token数分别减少约2.4倍和2.6倍，泰语减少高达4.0倍。结合大词汇量的每token成本，估计参考设备上这些语言的每字解码速度提升2.2-3.7倍。
论文分词器扩展LFM2-8B-A1BLFM2.5-8B-A1B
推荐理由：想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。
原文