arXiv cs.CL· Eugene Jang, Catherine Arnett, Terra Blevins·· 10 小时前AI 评分34
文本编码何时影响语言建模？UTF-8 与多语言编码策略对比研究
When does text encoding matter for language modeling?
AI 导读
研究对比 UTF-8 与其他 Unicode 编码、语言专用编码及自定义编码对字节级语言模型性能的影响，并提出混合编码方案 Aether：对目标语言使用文字系统专用编码，同时以 UTF-8 回退保持完整 Unicode 覆盖。
正文 · AI 翻译
摘要：UTF-8 作为语言模型中事实上的编码标准，其变长设计导致了跨语言的不平等。然而，这种编码选择对模型性能的影响在很大程度上仍未得到考察。在本工作中，我们研究了文本编码如何影响字节级语言模型的性能，将 UTF-8 与多种其他编码策略进行比较，包括其他基于 Unicode 的方法、特定语言的编码以及我们自定义的编码。为便于分析，我们提出了 Aether：一种混合编码方案，针对我们的目标场景使用特定文字的编码，同时通过 UTF-8 回退保持完整的 Unicode 覆盖，并利用该框架对四种书写系统差异较大的语言进行建模。令人惊讶的是，我们发现，虽然信息密度高的字符语言（中文、韩文）从压缩编码中显著受益，但单个字符信息量较少的语言（格鲁吉亚语、泰米尔语）对编码选择基本不敏感。鉴于这些发现，我们认为文本编码应是一项针对特定语言的设计决策，而非通用的默认设置。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14459 [cs.CL] |
| （或 arXiv:2611.14459v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14459 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eugene Jang [查看邮箱]
[v1]
2026年11月10日星期二 18:27:26 UTC（435 KB）
来源：arXiv cs.CL · arxiv.org