用泰文这类语言跑模型，token 消耗可能是英文的 17 倍，账单直接翻好几倍，用非英文语言的值得看看这篇。
Rest of World 的报道指出，AI 模型处理非拉丁文字（如泰文、缅甸文等）时消耗的 token 可达英文的 17 倍。这种差异被称为 tokenizer tax（分词器税），直接推高用户的使用成本。由于主流模型的分词器以英文语料为主，非拉丁语言被切分成更多 token，输入和输出费用随之上升。报道提醒使用这些语言的用户在 API 计费上需注意成本差异。
AI models can take up to 17 times more tokens to process non-Latin scripts than English, saddling users with a steep "tokenizer tax" https://t.co/eBEuMBLJX2 https://t.co/CVyOvbR6iv
一篇挺硬核的表示学习论文：作者把 tokenizer 和生成模型放一起算 flop 效率，结果比 DINO 和 LeJEPA 更抗塌缩，还给出了 scaling 规律。
This research reveals a significant economic disadvantage for French speakers in AI services, effectively creating a language tax that compounds with agentic use. The Baracoda FR prototype offers a potential solution, though its performance is currently limited to French and English. Developers working with multilingual applications should consider these tokenization inefficiencies when designing systems for diverse linguistic markets.
Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。
Anthropic 刚发了 Sonnet 5，性能接近 Opus 4.8 但更便宜，不过新 tokenizer 会让你的账单多掏 30%，用之前先算好账。
