arXiv cs.CL· Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl·· 11 小时前AI 评分22
VEXMLM：扩展 XLM-R 词表以改善阿姆哈拉语与提格里尼亚语的 Ge'ez 文字分词
Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
AI 导读
VEXMLM 是面向阿姆哈拉语和提格里尼亚语的 XLM-R 词表扩展版本，新增 30k 个 Ge'ez 文字子词，并将新嵌入初始化为预训练嵌入的均值。其分词器 fertility 相对 XLM-R 分别降低 28.0%（阿姆哈拉语）和 45.9%（提格里尼亚语），下游命名实体识别略有提升，但抽取式问答低于 XLM-R，情感分析持平。
正文 · AI 翻译
摘要：XLM-R 等多语言预训练语言模型在主要语言上表现良好，但在低资源的吉兹文字语言上表现不佳，主要原因是这些语言以拉丁字母为中心的 tokenizer 会将它们的词切分成许多子词。我们提出 VEXMLM，这是面向阿姆哈拉语和提格里尼亚语的 XLM-R 词表扩展变体。我们在单语语料上训练语言特定的 SentencePiece tokenizer，用 3 万个吉兹文字子词扩展 XLM-R 的词表，并将每个新嵌入初始化为预训练嵌入的均值。VEXMLM 经历两阶段训练：(1) 在单语语料上继续掩码语言建模；(2) 在问答和命名实体识别（阿姆哈拉语和提格里尼亚语）以及情感分析（阿姆哈拉语）上进行监督微调。VEXMLM 在两种语言上都降低了 tokenizer 的 fertility，使其低于 XLM-R 和 Glot500，相对 XLM-R 分别降低 28.0%（阿姆哈拉语）和 45.9%（提格里尼亚语）。在下游任务上，它在命名实体识别上较 XLM-R 略有提升，在抽取式问答上得分低于 XLM-R，在情感分析上与之相当。一项关于提格里尼亚语 NER 的消融实验表明，仅扩展词表会降低词汇表外词（即 XLM-R 的 tokenizer 无法表示、或切分出的片段多于扩展后 tokenizer 的词）的准确率，并且扩展后的模型需要继续预训练才能超过基线。因此，词表扩展使吉兹文字的 tokenization 效率大幅提高，而其下游收益取决于任务以及通过继续预训练来适配新嵌入。资源：GitHub 仓库 | Hugging Face 模型。
| 评论： | v4 取代了 v1 和 v2 的所有结果，因为这些结果无法追溯到实验输出。此处报告的结果来自 2026 年 8 月进行的运行，其结论与 v1 和 v2 不同 |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2607.15209 [cs.CL] |
| （或 arXiv:2607.15209v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.15209 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Hailay Kidu Teklehaymanot [查看电子邮件]
[v1]
2026年7月16日星期四 17:08:28 UTC (252 KB)
[v2]
2026年8月18日星期二 08:58:42 UTC (243 KB)
[v3]
2026年9月28日星期一 16:27:34 UTC (278 KB)
[v4]
2026年10月23日星期五 12:55:10 UTC (278 KB)
来源：arXiv cs.CL · arxiv.org