arXiv cs.CL· Luis A. Mercado-Campos, Alexis Palmer·· 2 天前AI 评分17
面向 Masewalkopa 的 Nawatl 单变体 NMT 专精化
Unfragmenting Nawatl NMT: Single-Variant Specialization for Masewalkopa
AI 导读
针对多变异体混合语料造成的“变体碎片化”问题，研究者基于 70,000 对多变异体数据，将 mT5-large 专精化到墨西哥 Santa Ana Tlacotenco 所说的 Nawatl 变体 Masewalkopa（nhn）。
正文 · AI 翻译
摘要：在少数群体（低资源）语言技术中，对数据稀疏的常见应对方式是跨多个变体聚合文本，并将合并后的数据视为单一语料库。然而，由密切相关的土著变体混合而成的语料库可能产生一种不对应任何单一说话者社区的人为语域，我们将这种结构性失败称为变体碎片化。这一问题对于墨西哥原生的少数群体语言（如 Nawatl）尤为突出。基于 70,000 对的多变体基础，我们将一个 mT5-large 检查点专门化到 Masewalkopa（nhn），即圣安娜·特拉科滕科所说的 Nawatl 变体。我们整理了 2,665 个平行对，将所有句子级数据保留用于评估，并通过非对称回译纳入 192 个由长者转写的目标句子。一个定制的有限状态分析器将未分析的表面形式从 82.0% 降至 19.9%，并提供功能句法标签作为纯文本前缀，使模型能够复用现有的子词嵌入，而不依赖冻结的特殊标记。由此得到的 LoRA-v9c-b 模型达到 58.46 dev chrF++ 和 58.20/57.90 方向性测试 chrF++。最后，CTranslate2 int8 量化将 CPU 延迟从每次请求 137.5 秒降至 1.8-2.6 秒，从而实现成本受限的 Cloud Run 部署。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22110 [cs.CL] |
| （或 arXiv:2610.22110v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Luis Armando Mercado [查看电子邮件]
[v1]
2026年10月15日星期四 15:51:41 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org