非拉丁文字处理成本高：AI 模型最多多耗 17 倍 token
Why we picked it
用英文以外的文字调用模型要贵好几倍，最多 17 倍 token，搞东南亚产品或多语言应用的看看这条
研究显示，AI 模型处理非拉丁文字时最多需要 17 倍于英文的 token 数量。这种差异被称为 tokenizer tax，直接推高非英语用户的 API 调用成本。泰文、缅甸文等文字受影响尤其明显。
Original · Rest of World
AI models can take up to 17 times more tokens to process non-Latin scripts than English, saddling users with a steep "tokenizer tax" https://t.co/eBEuMBLJX2 https://t.co/nn5a4dDCSX
