多语言模型相关 AI 资讯

7月28日

10:07

官方一手arXiv: OpenAI@Priyansh Srivastava

该研究使用FLORES-200平行语料库，量化了六种分词器下十四种印度语言的Tokenizer Tax。在GPT-3.5和GPT-4使用的cl100k_base分词器中，印度语言平均token化代价是英语的8.0倍，马拉雅拉姆语高达13.0倍，有效上下文窗口缩减至英语用户的12%。主要机制是失败的字节对合并导致单字节token碎片化，merge失败率与代价高度相关（Pearson r=0.89）。多语言分词器如XLM-R和o200k_base可将平均代价降低73%，表明该问题可通过设计修复。固定上下文预算下，印度语言文档保留的原始内容显著少于英语，Belebele基准上的阅读性能差异主要由语言资源丰富度而非分词器行为解释。

推荐理由：这篇论文用数据证明印度语言在LLM中平均被吃掉8倍token，马来语更高达13倍，还分析了原因和修复方向，做多语言应用的朋友值得看看。

原文

7月17日

11:20

官方账号arXiv cs.AI@Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

固定分词器在预训练后对新语言无效，导致每个词被拆成更多token，增加延迟和计算。论文提出原地扩展方法，在现有BPE合并基础上继续添加新token，每个新token可精确分解为源token。将该方法应用于LFM2-8B-A1B（8B参数MoE模型），得到LFM2.5-8B-A1B，词汇量从原tokenizer扩展至128K。扩展后，印地语和越南语的token数分别减少约2.4倍和2.6倍，泰语减少高达4.0倍。结合大词汇量的每token成本，估计参考设备上这些语言的每字解码速度提升2.2-3.7倍。

论文分词器扩展 LFM2-8B-A1B LFM2.5-8B-A1B

推荐理由：想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。

原文

6月25日

09:37

官方账号arXiv cs.AI@Tianyu Dong, Yangyang Liu, Jiang Zhou, Xinwei Wu, Xiaohu Zhao, Hao Wang, Heng Liu, Linlong Xu, Longyue Wang, Weihua Luo, Shaolin Zhu, Deyi Xiong

稀疏MoE（Mixture-of-Experts）模型在多语言场景下，低资源语言因数据稀缺导致路由与高资源语言不一致，限制跨语言知识共享。为此提出SARA（Semantically Anchored Routing Alignment）框架，利用对称JS散度对齐路由分布。在Qwen3-30B-A3B和Phi-3.5-MoE-instruct两个模型上，针对5种低资源语言和3个基准测试，SARA在Global-MMLU上分别提升0.8%和1.2%。该方法不依赖输出logits蒸馏，直接对齐内部路由机制，有效缓解低资源语言瓶颈。

论文 SARA MoE Qwen3

推荐理由：论文提出SARA方法，用语义锚对齐MoE路由，让低资源语言也能用好专家能力，Global-MMLU提升0.8%-1.2%。

原文

5月30日

02:21