论文实测：Odia 文本在 GPT-4o 上的 token 消耗是英文的 5 倍

一篇 arXiv 论文量化了主流 tokenizer 在印度语言上的"token 税"：同一内容在 GPT-4o 的 tokenizer 下，Odia 需要 5.01 倍于英文的 token，Hindi 为 1.57 倍，Santali（Ol Chiki 文字）高达 13.7 倍。研究覆盖 9 个公开 tokenizer（含 GPT-4、GPT-4o、Qwen2.5、DeepSeek-V3、Mistral-Nemo 和 4 个 Sarvam 模型），数据来自 FLORES-200 的 25 种印度语言（2,009 句对齐英文的专业译文）和 PHINC 的 13,732 对真人翻译 Hinglish 社交媒体文本。 Sarvam-30B/105B 是唯一在所有语言上都低于 2.6 倍（中位数 1.53）的第三方 tokenizer。按 2026 年 11 月 5 日的官方标价估算，一个每月处理 100,000 次对话的客服机器人，用 GPT-4o 跑英文约 INR 56,640，跑 Marathi 则约 INR 102,829。词内形态切分测试还显示，所有 tokenizer 在形态词边界上的 boundary F1 至多 0.48。 由于商业 API 按 token 计费，这直接意味着非英文文本更贵、推理更慢、固定上下文窗口里能装的文字更少。论文附带的仓库（HavonAI/indic-token-tax）公开了原始 token 计数和固定版本工件，配套论文提出了一个降低该差距的 tokenizer。