arXiv cs.CL· Etuh E., Eli. A. Jiya·· 11 小时前AI 评分14
面向 Igala-英语机器翻译的方言感知基线模型
Dialect Matters: A Dialect-Aware Baseline for Igala-English Machine Translation
AI 导读
研究者提出首个带方言标签的 Igala-英语机器翻译开放基线，数据集含 1137 句（899 句训练），标注 Idah、Ankpa、Ibaji、Ogugu 等方言。
正文 · AI 翻译
摘要：智能系统在人类活动各个领域的广泛渗透，极大地提升了清晰度、工作便利性，并增进了全球的普遍理解，这显著唤醒了所有用户对智能系统的使用。智能系统高度依赖精确的数据集/语料库来保证其输出的正确性。尽管研究人员在自然语言处理（NLP）领域为应对低资源语言做出了努力，但 Igala 语尽管有研究人员的努力，仍然没有平行语料库。我们提出了一个面向 Igala-英语机器翻译的方言感知基线，是首批开放系统之一，也是首个带有方言变异分析的系统。我们的数据集包含 1137 个句子（899 个用于训练），是首个带有方言标签的数据集：Idah 459 句（40.4%）、Ankpa 297 句（26.1%）、Ibaji 160 句（14.1%）、其他 187 句（16.4%）、Ogugu 32 句（2.8%）。同一英语句子可产生 20-60 种 Igala 语形式。混合方言训练取得了均衡的 BLEU 11.66，而仅使用 Idah 方言的模型在 Ibaji 上下降了 4.7 BLEU（Idah 上为 13.2，Ibaji 上为 8.5），证明方言公平性需要混合训练。基于 Helsinki-NLP/opus-mt-en-mul（78M）进行微调，epoch 消融显示在 8 个 epoch 时收敛，在 15 个 epoch 时过拟合。BLEU 11.66，chrF 46.69。分析表明，899 个句子符合与非洲低资源文献一致的对数线性趋势。本工作首次对 Igala 语进行了方言影响分析，并为未来工作建立了基线。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06517 [cs.CL] |
| （或 arXiv:2611.06517v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06517 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.5281/zenodo.23452583
链接到相关资源的 DOI |
提交历史
来自：Emmanuel Etuh Dr. [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 13:42:12 UTC（538 KB）
来源：arXiv cs.CL · arxiv.org