2026 年印度语言 Token 税：九款公开 tokenizer 的 Token 差异与成本测算

查看 PDF HTML（实验性）

摘要：商业语言模型 API 按 token 计费，因此，如果某个分词器对同一内容在某种语言中需要更多 token，就会使该语言更昂贵、更慢，并且在固定上下文窗口内能容纳的文本更少。我们针对九种公开分词器测量了这一差异，包括 GPT-4、GPT-4o、Qwen2.5、DeepSeek-V3、Mistral-Nemo 和四个 Sarvam 模型的分词器，测量范围覆盖 FLORES-200 中印度全部 25 种语言（2,009 句与英语对齐的专业翻译句子），以及来自 PHINC 的 13,732 对人工翻译的印地语-英语混合社交媒体文本。在 GPT-4o 的分词器上，相同内容所需的 token 数是英语的 1.57 倍（印地语）到 5.01 倍（奥里亚语），而用 Ol Chiki 书写的桑塔利语则达到 13.7 倍；GPT-4 的分词器最高需要 12.8 倍。Sarvam-30B/105B 是唯一一个在所有语言上都低于 2.6 倍的第三方分词器（中位数 1.53）。在一个示例性场景中，使用 2026 年 11 月 5 日获取的官方标价和所述假设，一个每月处理 100,000 次聊天、使用 GPT-4o 的客服机器人，英语成本约为 56,640 印度卢比，马拉地语约为 102,829 印度卢比；这些是估算值，并非实测的生产成本。与一个开放许可的印地语和马拉地语形态切分集相比，没有任何分词器将其词内边界中超过 35% 落在语素边界上（边界 F1 至多为 0.48）。在一篇配套论文中，我们提出了一种能降低这一额外成本的分词器。代码、固定版本的工件和原始 token 计数可在此 https URL 获取。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2611.13058 [cs.CL]
	（或 arXiv:2611.13058v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.13058 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Johin Arimbur [查看电子邮件]
[v1] 2026 年 11 月 9 日星期一 17:24:21 UTC（473 KB）