arXiv cs.CL· Ben Gubler·· 10 天前AI 评分24
Tokka-Bench：跨 100 种自然语言与 20 种编程语言的 Tokenizer 评测基准
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
AI 导读
开源框架 Tokka-Bench 从 bytes per token、unique token coverage、subword fertility、word-split rate 和 vocabulary composition 五个指标，对 100 种自然语言（30+ 种文字系统）和 20 种编程语言的 tokenizer 进行评测。
正文 · AI 翻译
摘要：大语言模型依赖子词分词器，而分词器质量因语言而异，但目前尚无标准化的多指标框架用于广泛的比较评估。我们提出 Tokka-Bench，一个开源框架，在 100 种自然语言（30 多种文字系统）和 20 种编程语言上，使用适配各书写系统的语言感知分词方法，从五个互补指标评估分词器——每 token 字节数、唯一 token 覆盖率、子词生育率、词切分率和词表构成。在单个语言内比较七种 BPE 分词器（GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3 和 Kimi K2）后，我们发现词表分配策略比原始词表规模更重要，并且尽管自然语言特征各异，近期分词器在编程语言效率上已趋同。该框架、数据和交互式仪表板均已公开。
| 评论： | 5 页，5 幅图。代码和数据：此 https URL。交互式仪表板：此 https URL |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08794 [cs.CL] |
| （或 arXiv:2610.08794v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08794 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Ben Gubler [查看电子邮件]
[v1]
2026 年 3 月 25 日星期三 21:01:32 UTC（47 KB）
来源：arXiv cs.CL · arxiv.org