arXiv cs.CL· Abdu Sallouh, Nicholas Popovi\v{c}, Michael F\"{a}rber·· 9 天前AI 评分22
现代标准阿拉伯语(MSA)在 LLM 中主导阿拉伯方言吗?一项表征层分析
Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis
AI 导读
研究将语言主导性框架扩展到 26 种阿拉伯语变体,发现没有证据表明现代标准阿拉伯语(MSA)在 LLM 内部表征中主导阿拉伯方言。方言表征形成高度重叠的密集空间,归一化互信息相比差异较大的语言明显下降,且最强可分性效应并不局限于中间层,会随架构向更后层偏移。研究认为,MSA 偏置的生成输出并不必然反映内部表征主导,多语言与方言 LLM 分析应区分生成偏置与内部表征几何。
正文 · AI 翻译
摘要:大型语言模型(LLM)在生成阿拉伯语时往往默认使用现代标准阿拉伯语(MSA),即使提示使用的是阿拉伯语方言。一种自然的解释是,其内部表征由 MSA 主导。我们通过将 Shani 和 Basirat(2025)的语言主导性框架(此 https URL)适配到 26 种阿拉伯语变体来检验这一假设。在各层和不同模型系列中,我们未发现证据表明 MSA 是阿拉伯语方言的主导内部表征。相反,方言表征形成了一个密集且高度重叠的空间:与报道的更为不同的语言模式相比,归一化互信息急剧下降。此外,最强的可分离性效应并不局限于中间层,而是可能因架构不同而向较后的层偏移。这些发现挑战了对 MSA 偏向生成的一种常见解读:输出偏好并不一定揭示内部表征主导性。因此,对多语言和方言 LLM 的分析应区分生成偏差与内部表征的几何结构。
| 评论: | EMNLP 2026 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.11510 [cs.CL] |
| (或 arXiv:2610.11510v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11510 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Nicholas Popovič [查看电子邮件]
[v1]
2026年10月8日星期四 08:46:47 UTC(6,947 KB)
来源:arXiv cs.CL · arxiv.org