arXiv cs.CL· Josef Jon, Rawan Bondok, Ond\v{r}ej Bojar·· 10 小时前AI 评分23
LLM 在阿拉伯方言机器翻译中的现状评估：16 种方言、Jais/Nile/GPT-4.1 等模型对比
Current state of LLMs for Arabic dialectal machine translation
AI 导读
一项基于 MADAR 数据集的研究评估了 LLM 在 16 种阿拉伯方言上的英阿双向机器翻译能力，覆盖 Jais、Nile 等阿拉伯专用模型，Gemma、Command-R、Mistral、Aya 等多语言模型以及 GPT-4.1 商业 API。
正文 · AI 翻译
摘要：本工作针对 MADAR 数据集上的英语到达里贾阿拉伯语机器翻译，对大语言模型（LLM）进行了评估。我们在 16 种阿拉伯语方言上评估了两个翻译方向（英语到阿拉伯语及反向）。我们的实验涵盖多种模型，包括专门的阿拉伯语模型（Jais、Nile）、多语言模型（Gemma、Command-R、Mistral、Aya）以及商业 API（GPT-4.1）。我们采用多种评估指标：BLEU、CHRF、COMET（基于参考和无参考两种变体）以及 GEMBA（LLM 作为评判者），并进行了小规模人工评估，以评估翻译质量。我们讨论了自动机器翻译评估的挑战，尤其是在阿拉伯语方言的背景下。我们还评估了 LLM 对文本中所用方言进行分类的能力。本研究为当前 LLM 在方言阿拉伯语机器翻译方面的能力和局限性提供了见解，特别强调了处理方言多样性的困难，尽管结果可能受到可能的训练数据污染的影响，而这始终是 LLM 的一个隐患。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02271 [cs.CL] |
| （或 arXiv:2611.02271v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02271 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.18653/v1/2026.abjadnlp-1.41
链接到相关资源的 DOI |
提交历史
来自：Josef Jon [查看电子邮件]
[v1]
2026年11月1日周日 22:52:16 UTC（7,396 KB）
来源：arXiv cs.CL · arxiv.org