arXiv cs.CL· Abdul Rehman Antall, Baidya Nath Saha·· 2 天前AI 评分22
形态学正确性对分词有影响吗？一项 Tagalog 乱序对照研究
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
AI 导读
研究构建了 MorphAustro-Tok 分词器，将 Tagalog 词根作为连续单元输出并附加位置中缀 token，在 33 次运行中相比语料匹配的 BPE 基线在句级 chrF++ 上平均提升 0.84、1.49 和 3.40 分。
正文 · AI 翻译
摘要：类型学感知的分词器基于这样一种主张：尊重语素边界的分词能够保留频率驱动的分词所破坏的信息。相关研究通常一边证实其有效，一边假定这些边界必须在语言学上是正确的。我们将二者分离。他加禄语通过中缀标记语态（s-um-ulat“写了”，s-in-ulat“被写了”），因此词根并不连续，任何 BPE 合并序列都无法恢复它。我们构建了 MorphAustro-Tok，一种将词根作为连续单元输出、后接位置中缀 token 的分词器，并将其与语料匹配的 BPE 基线进行比较，并在三个生育率水平中的两个上，与打乱语素对照进行比较——该对照在随机化伪中缀的同时保持语素数量、可逆性和逐类型一致性。在 33 次运行中，MorphAustro-Tok 相较匹配的 BPE 将他加禄语机器翻译分别提升了 0.84、1.49 和 3.40 个平均句子级 chrF++ 分数。token 数量无法解释这一增益，因为它随着分词变粗而增长；容量也无法解释：在最粗的层级上，打乱组拥有更多参数，得分却更低。在两个受控层级上，打乱分析对增益的影响均小于种子间离散度，因此在此规模下我们未检测到形态学正确性的贡献。
| 评论： | 13 页，1 幅图，7 张表。代码与复现包：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.20859 [cs.CL] |
| （或 arXiv:2610.20859v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20859 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Abdul Rehman Antall [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 19:49:32 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org