arXiv cs.CL· Antonio Lopardo, Luis Frentzen Salim, Shikhar Srivastava, Kevin Jiang, Mridul Sharma, Catherine Arnett·· 2 天前AI 评分22
研究：没有单一 tokenizer 特征能可靠预测下游语言模型性能
No Single Tokenizer Feature Reliably Predicts Downstream Language Model Performance
AI 导读
一项分析约 200 个语言模型（覆盖九种语言）的研究发现，现有各类 tokenizer 内在评测指标均无法在模型家族、任务和语言之间一致地预测下游性能。作者据此提出一个基于语言学的新指标，显示新指标能捕捉现有指标遗漏的 tokenizer 质量维度，但其预测能力仍可能因模型家族、语言和任务而异。该论文已被 EMNLP 2026 Findings 接收。
正文 · AI 翻译
摘要：分词是语言建模流程中的关键组成部分，但人们对其理解甚少。分词器会影响下游性能，但目前关于哪些分词器特征能在无需完整训练的情况下预测出更好的语言模型，证据仍不一致。在本文中，我们分析了约 200 个在九种不同语言上训练的语言模型。我们同时评估模型及其分词器，并检验任何已提出的内在分词器评估指标与模型性能之间是否存在关系，模型性能由多种基准测试衡量。尽管已提出的内在分词器指标数量众多且种类多样，我们发现没有任何一个指标能一致地预测跨模型家族、任务和语言的下游性能。这促使我们需要新颖的分词器评估指标和方法。我们提出了在本工作中引入的基于语言学的新指标，表明新指标能够捕捉现有指标所遗漏的分词器质量方面，尽管其预测能力很可能因模型家族、语言和任务而异。
| 评论： | 10 页，已被 EMNLP 2026 Findings 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21679 [cs.CL] |
| （或 arXiv:2610.21679v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21679 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Catherine Arnett [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 11:05:07 UTC（1,035 KB）
来源：arXiv cs.CL · arxiv.org