arXiv cs.CL· Hailay Kidu Teklehaymanot, Dren Fazlija, Wolfgang Nejdl·· 12 小时前AI 评分18
MoVoC：面向吉兹文字语言的多形态感知子词构建方法
MoVoC: Morphology-Aware Subword Construction for Geez Script Languages Corrected version
AI 导读
MoVoC 提出一种融合监督式形态分析与 BPE 的混合分词方案，并训练出 MoVoC-Tok 分词器，在四种吉兹文字语言中的三种取得最高 MorphScore，在两种语言中取得最高语素边界精确率。团队同时发布四种语言共 169,806 条语素标注数据及其中两种语言的语素感知词表，在未参与训练的 Tigre 跨语言应用上增益最明显。论文已撤回原版本中的机器翻译结果，数据、分词器与评测代码均已公开。
正文 · AI 翻译
摘要：基于子词的分词方法往往无法保留形态学边界，这一局限在以吉兹文书写、资源匮乏且形态复杂的语言中尤为突出。为解决这一问题，我们提出形态感知子词词表构建方法（MoVoC），并训练了 MoVoC-Tok，这是一种将监督式形态分析整合进子词词表的分词器。这种混合分词方法结合了基于语素的词元与字节对编码（BPE）词元，在保留形态完整性的同时维持词汇意义。为应对资源匮乏问题，我们发布了四种吉兹文语言的语素标注数据（169,806 条记录），以及其中两种语言的形态感知词表。在受该语言所对应语素资源约束的 MoVoC-Tok 的留出词上对每项比较进行评分，MoVoC-Tok 在四种语言中的三种上取得最高 MorphScore，在四种语言中的两种上取得最高语素边界精确率，其最大且最清晰的提升出现在提格雷语上——该语言并未在其上训练，而是以跨语言方式应用。已发表版本中报告的机器翻译结果予以撤回。数据、分词器和评估代码均已公开。
| 评论： | 修正版 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.6；H.3.3 |
| 引用为： | arXiv:2509.08812 [cs.CL] |
| （或 arXiv:2509.08812v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.08812 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hailay Kidu Teklehaymanot [查看邮箱]
[v1]
2025年9月10日星期三 17:45:10 UTC（310 KB）
[v2]
2026年10月21日星期三 21:21:42 UTC（202 KB）
来源：arXiv cs.CL · arxiv.org