arXiv cs.CL· Zainab Afolabi, Nikita Kozodoi, Jack Butler, Babs Khalidson·· 11 小时前AI 评分38
NaijaFacts：区分尼日利亚事实问题中的语言效应与知识效应
NaijaFacts: A Framework for Disentangling Language from Knowledge in Facts about Nigeria
AI 导读
研究者推出 NaijaFacts 基准，用尼日利亚母语者撰写、基于官方统计的事实与统计问题，提供英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语五个版本。在八个前沿及尼日利亚适配模型上，知识效应占主导：美英问题英语查询准确率 49–50%，尼日利亚仅 20%；语言效应较小且随网络代表性变化，英语到约鲁巴语在尼日利亚问题上降 9 分。
正文 · AI 翻译
摘要：非洲语言的多语言基准大多是将通用问题翻译成本地语言，衡量的是语言能力，而非模型是否了解关于非洲的事实。我们推出 \naija，这是一个关于尼日利亚的事实与统计问题基准，由母语者撰写，并以权威官方统计数据为依据，每个问题均提供英语、尼日利亚皮钦语、\yoruba、伊博语和豪萨语版本。对英国和美国回答类似问题，得到一个“国家×语言”矩阵，从而将语言效应（模型知道该事实，但在低资源语言中表现下降）与知识效应（该事实在所有语言中均缺失）区分开来。在八个前沿模型和尼日利亚适配模型中，知识效应占主导：英语查询准确率在美国/英国为 49--50\%，而在尼日利亚为 20\%。语言效应较小，且与网络代表性相关，从英语到 \yoruba{} 逐步下降（尼日利亚问题上下降 9 分，美国/英国问题上最多下降 24 分）。我们发现规模无济于事：最强模型在英国和美国达到 66--79\%，但在尼日利亚统计问题上无一超过 31\%。用我们表现最好的前沿模型扩展到全部 54 个非洲国家，显示出全大陆相同的特征：文化类 96\%、政治类 98\%，而统计类仅 26\%，因此这一差距并非尼日利亚独有。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06504 [cs.CL] |
| （或 arXiv:2611.06504v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06504 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Zainab Afolabi [查看邮箱]
[v1]
2026年11月4日星期三 13:34:35 UTC（1,858 KB）
来源：arXiv cs.CL · arxiv.org