arXiv cs.CL· Clara Meister, Suchir Salhan, Andrzej Szablewski, Pietro Lesci, Paula Buttery, Tiago Pimentel·· 14 小时前AI 评分31
LangMAP：面向多语言模型的语言自适应 Tokenization 方法
LangMAP: A Language-Adaptive Approach to Tokenization
AI 导读
LangMAP 将 UnigramLM 算法扩展到多语言场景，用每种语言各自的词汇分布替代单一分布，可在不改变词表的情况下把预训练模型的分词器适配到单个语言。适配后的分词在形态学边界召回率上持续高于原分词器，在代码数据上也提升了与 AST 叶节点边界的对齐度。但在语言模型微调实验中，多数语言-任务组合的性能未出现显著差异。
正文 · AI 翻译
摘要：针对特定语言的 tokenizer 能提升分词质量以及模型在这些语言上的下游性能。将这种 tokenizer 与已有的预训练模型配合使用，需要从头训练一个新模型，或者调整预训练模型的词表。我们提出语言自适应最大后验（LangMAP）分词方法，它通过将 UnigramLM 算法在词表上的单一分布替换为每种语言在同一词表上的一个分布，把该算法扩展到多语言场景。LangMAP 既可用于从头训练多语言语言模型，也可用于在不改变词表的情况下，将预训练模型的分词器适配到各个语言。估计每种语言的分布需要语言标签；在推理时，该算法会在各语言中选择概率最高的切分，即不需要语言标签。在我们将 LangMAP 用于适配预训练分词器的实验中，我们观察到 LangMAP 产生的新切分在形态学边界召回率上始终高于原始分词器。在代码数据上，它在我们尝试的所有配置中都改善了与抽象语法树（AST）叶边界的对齐。尽管切分表面上有所改进，但在语言模型微调实验中，对于大多数语言-任务组合，我们并未观察到性能上的显著差异。
| 评论： | 发表于 EMNLP 2026 会议论文集（主会；口头报告） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.23566 [cs.CL] |
| （或 arXiv:2606.23566v3 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2606.23566 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Clara Meister [查看邮箱]
[v1]
2026年6月22日星期一 16:32:00 UTC（606 KB）
[v2]
2026年6月23日星期二 17:41:34 UTC（606 KB）
[v3]
2026年10月26日星期一 17:26:50 UTC（222 KB）
来源：arXiv cs.CL · arxiv.org