arXiv cs.CL· Ahmad Samuel Gali (Independent Researcher), Tadesse Destaw Belay (Instituto Polit\'ecnico Nacional), Idris Abdulmumin (University of Pretoria), Seid Muhie Yimam (University of Hamburg), Shamsuddeen Hassan Muhammad (Bayero University Kano, Imperial College London)·· 9 小时前AI 评分31
AfriNORM:评估 LLM 非洲文化规范推理能力的基准
AfriNORM: An Evaluation Benchmark for Normative Reasoning of LLMs Across African Cultures
AI 导读
研究者提出 AfriNORM,一个基于场景的选择题数据集,用于测量和诊断 LLM 在非洲社会文化语境下的规范推理局限。该基准引入 Universal Commonsense Bias Score(UCBS)和 Distractor Bias Score(DBS)两项指标,分别量化模型的常识偏见与对非洲文化规范的理解不足。
正文 · AI 翻译
摘要:大型语言模型(LLM)正日益被部署到各个领域。然而,当前的评估基准不足以评估这些模型在非洲本地语境中的适用性,因为大多数基准关注的是语言流畅度(语法/翻译),而非文化能力。少数现有的衡量常识或社会习俗的基准无法捕捉非洲的道义模态,即支配各种社会互动的严格规范和禁忌。在本文中,我们推出 AfriNORM,这是一个基于场景的多项选择题数据集,旨在衡量和诊断 LLM 在应用于非洲社会文化语境时的规范性推理局限。我们引入两个指标:通用常识偏见分数(UCBS),用于量化 LLM 中的常识偏见;干扰项偏见分数(DBS),用于量化 LLM 对非洲文化规范理解的局限。我们还对 Yorùbá 语进行了案例研究,识别出两个闭源 LLM“Gemini 2.0 Flash”和“GPT-5”,以及一个开源 LLM“Llama 3.1 8B Instruct”在分别以英语和 Yorùbá 语提示时出现的混淆差距。尽管它们在英语上的准确率很高,但在 Yorùbá 语上的表现要低得多,这归因于文化混淆而非简单的偏见,表明这些模型在对 Yorùbá 语中的规范进行推理时表现出语义混淆。
| 评论: | 8 页,3 幅图,5 张表 |
| 主题: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7 |
| 引用为: | arXiv:2611.22580 [cs.CL] |
| (或 arXiv:2611.22580v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22580 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ahmad Gali [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 11:04:36 UTC(454 KB)
来源:arXiv cs.CL · arxiv.org