arXiv cs.CL· Felermino D. M. A. Ali, Millicent Ochieng, Ogbemi Ekwejunor-Etchie, Ade Famoti, Jacki O'Neill, Debjit Paul·· 9 天前AI 评分22
Latent Core Tokenizer：压缩，但要有意义
Latent Core Tokenizer: Compress, but Meaningfully
AI 导读
研究者提出 Latent Core Tokenizer（LCT），一种语言无关的分词方法，将结构发现与词表构建分离，先用最小描述长度、基于熵的边界信号和形态句法约束识别可复用语言单元，再构建共享词表。
正文 · AI 翻译
摘要：分词器通常针对压缩进行优化，但紧凑的词表并不一定能将其容量均匀分配到各语言。我们提出潜在核心分词器（LCT），这是一种与语言无关的方法，将结构发现与词表构建分离。LCT 使用最小描述长度、基于熵的边界信号和形态句法约束，在构建共享词表之前识别可复用的语言单元。在 104 种语言、20 万 token 词表的设置下，LCT 相比 BPE、Unigram 和 parity-aware BPE 实现了更低的 fertility 和更高的 MorphScore，同时保持分词成本上相当的跨语言差异。在四个多语言下游基准上，LCT 相比 BPE、Unigram 和 parity-aware BPE 分别将总体得分提高了 1.48、1.83 和 2.00 分。我们的发现表明，仅靠压缩并不能预测表示质量，并凸显了形态驱动的结构发现以及频率如何用于在各语言间分配最终词表的重要性。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12376 [cs.CL] |
| （或 arXiv:2610.12376v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12376 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Felermino Ali [查看电子邮件]
[v1]
2026年10月8日星期四 17:32:32 UTC（1,861 KB）
来源：arXiv cs.CL · arxiv.org