arXiv cs.CL· Warit Sirichotedumrong, Adisai Na-Thalang, Chanakan Wittayasakpan, Kritsadha Phatcharoen, Kunat Pipatanakul·· 10 小时前AI 评分18
khammoon：从语言学准则到泰语语素分词器
khammoon: From a Linguistic Guideline to a Thai Morpheme Segmenter
AI 导读
研究团队提出以泰语最小语义单位 khammoon 进行语素级分词，并据此制定形式化决策准则（人工一致率 κ≈0.99），用 LLM 扩展标注、人工修正系统性错误。基于该数据训练的 khammoon 是 1M 参数的卷积 BiLSTM 分词器，面向 CPU 高效推理，域外文本边界 F1 达 0.992。语素级模型在词性标注、命名实体识别和情感分类上持平或超过词级基线，准则、数据集、模型与库均已公开。
正文 · AI 翻译
摘要：泰语书写时词与词之间不加空格，因此分词是大多数泰语 NLP 流水线的基础步骤。现有工具主要复现 BEST 等语料的词级约定；然而，由于泰语中“词”的概念缺乏统一的语言学共识，这些约定难以处理能产性复合词，导致边界任意以及下游表示中的歧义。为此，我们提出在形态学层面操作，聚焦于 khammoon，即承载意义的最小原子单位。在语素层面分词可提供显式、一致的形态学表示，消除复合词歧义。关键在于，这种表示有利于下游学习：在词性标注、命名实体识别和情感分类任务上，基于语素训练的模型表现与词级基线持平或更优，表明语言学一致性提升了表示质量且不损害下游性能。为落实这一表示，我们将语言学原则转化为形式化的判定准则，其人工一致性近乎完美（$\kappa \approx 0.99$），借助 LLM 扩展标注规模，并用人工标签纠正系统性错误。最后，我们训练了 khammoon，一个轻量级 100 万参数的卷积 BiLSTM 分词器，专为高效的 CPU 推理设计，在域外文本上取得 0.992 的边界 F1 值。该准则、数据集、模型和库均已公开发布。
| 评论： | 技术报告。代码、模型和数据可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13012 [cs.CL] |
| （或 arXiv:2611.13012v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.13012 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Warit Sirichotedumrong [查看邮箱]
[v1]
2026年11月9日星期一 03:19:53 UTC（3,539 KB）
来源：arXiv cs.CL · arxiv.org