arXiv cs.CL· Noor Abo Mokh, Teresa Lynn, Nizar Habash, Ahmed Elshabrawy, Sara Alhajeri, Alaa Elsetohy, Preslav Nakov, Alham Fikri Aji·· 11 小时前AI 评分31
DAR-MGSM：面向方言阿拉伯语的数学推理基准发布
Benchmarking Arabic Dialects for Math Problems
AI 导读
研究者推出 DAR-MGSM，首个针对方言阿拉伯语数学推理的人工构建基准，覆盖五种主要阿拉伯方言及现代标准阿拉伯语，含纯翻译与翻译加文化本地化两个平行版本。在 11 个阿拉伯语及多语言大语言模型上评测显示，本地化版本性能普遍下降，且阿拉伯语中心模型对本地化的敏感度各不相同。机制可解释性分析发现，同一题目的翻译版与本地化版常引发不同的内部推理轨迹，即使总体准确率相近。
正文 · AI 翻译
摘要：数学推理在低资源语言（包括方言阿拉伯语）中仍未得到充分探索。为填补这一空白，我们推出了 DAR-MGSM（方言阿拉伯语多语言小学数学）基准，这是首个用于评估方言阿拉伯语数学推理的人工精选基准。DAR-MGSM 由需要多步推理的数学应用题（MWP）组成，涵盖五种主要阿拉伯语方言以及现代标准阿拉伯语（MSA）。该基准包含两个平行版本：仅翻译版和翻译及文化本地化版。后一版本将实体和指代调整为地区变体。我们在 DAR-MGSM 上评估了十一个以阿拉伯语为中心和多语言的大型语言模型。结果表明，在本地化版本上性能总体下降，凸显了文化根基适配带来的挑战。然而，这种影响的程度因模型而异，以阿拉伯语为中心的模型对本地化表现出不同程度的敏感性。机制可解释性分析表明，同一 MWP 的翻译变体和本地化变体往往引发不同的内部推理轨迹，即使总体准确率保持相似。总体而言，我们的结果表明，数学推理性能取决于语言变体和文化背景。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28607 [cs.CL] |
| （或 arXiv:2610.28607v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28607 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Noor Abo Mokh [查看电子邮件]
[v1]
2026年10月20日星期二 17:50:13 UTC（843 KB）
来源：arXiv cs.CL · arxiv.org