面向 204 种语言的多词分词器 Havon：token 数少于 GPT-4o，英语也不例外

查看 PDF HTML（实验性）

摘要：在 GPT-4o 的分词器上，印度各语言处理相同内容所需的 token 数量是英语的 1.6 到 14 倍，这使得它们的服务成本更高、速度更慢。我们基于约 200 种语言的人工撰写文本从头训练分词器。Havon v3 是一个字节级 BPE 分词器，拥有 262,144 个 token，并配备一个预分词器，可将组合附加符号与其字母保持在一起，并对不使用空格书写的文字进行分块。在 FLORES-200 devtest 上，它在印度全部 25 种语言上所需的 token 数均少于 GPT-4o 的 o200k_base（中位数为 GPT-4o 计数的 0.74），在 204 种语言中的 172 种上也是如此，但在英语上多出 7%。Havon v4 在 v3 基础上增加了第二个多词训练阶段（SuperBPE）。在恰好为 GPT-4o 词表大小 200,019 个 token 时，v4 在英语上所需的 token 数比 GPT-4o 少 6.1%，在 204 种语言中的 161 种以及印度全部 25 种语言上更少（中位数 0.74）；在相同大小下，v3 在英语上多出 9.4%，并在 133 种语言上胜出。在 262,144 个 token 时，v4 在英语上所需的 token 数少 9.6%，在 204 种语言中的 182 种上更少；在 524,288 个 token 时，它在 204 种语言中的 203 种上更少。收益最大的是英语、印地语和罗曼语族语言；不使用空格书写的文字，如高棉语、缅甸语和藏语，收益很小，并且损失了子词合并。Havon v5 将 v4 仅含 Python 的代码样本替换为 15 种语言的宽松许可代码：在代码上，它所需的 token 数为 GPT-4o 的 1.03 到 1.22 倍，而 v4 为 1.11 到 1.29 倍，同时保持印度全部 25 种语言（中位数 0.74，在句子级 bootstrap 下均显著）和英语（0.94）。这些仅为压缩结果：我们尚未评估使用 v4 或 v5 训练的模型。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2611.13059 [cs.CL]
	（或 arXiv:2611.13059v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.13059 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Johin Arimbur [查看电子邮件]
[v1] 2026年11月9日星期一 17:25:31 UTC（34 KB）