Papers11:20
Chinese content预训练LLM的原地分词器扩展方法想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。
#分词器扩展
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "分词器扩展", newest first.
Jul 17
想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。