arXiv cs.CL· Manan Uppadhyay, Himanshu Beniwal, Prashant Kodali, Sunayana Sitaram·· 12 小时前AI 评分34
多语言基准审计：51 个基准、242 个数据集、219 种语言，覆盖广而不均
The State and Fate of Multilingual, Contextual Evaluation in the NLP World
AI 导读
一项数据驱动的审计分析了 51 个近期多语言基准、242 个数据集和 219 种语言，发现 36% 的语言仅出现在单一基准中，大洋洲、美洲、中亚等地区接近零覆盖。低资源语言仅被评估 1-3 类任务，而高资源语言达 14 类；56% 的数据集-语言实例由英文翻译构建，并存在翻译基准泄漏与平行语料重叠等污染问题。
正文 · AI 翻译
摘要：多语言评测基准是评估大语言模型能否泛化到英语之外的主要工具，但这些基准的充分性却鲜少受到系统性的审视。我们对 51 个近期多语言基准进行了数据驱动的审计，涵盖 242 个数据集和 219 种语言，围绕三个支柱展开：覆盖范围、代表性和严谨性。我们的分析揭示：覆盖范围广而不深，36% 的受评语言仅出现在单一基准中，整个区域（大洋洲、美洲、中亚）几乎为零，且存在明显的任务公平性差距——低资源语言仅在 1-3 个任务类别上受评，而高资源语言则达 14 个。代表性在结构上受到损害：英语翻译仍是主导的构建策略，所有数据集-语言实例中有 56% 是翻译而来，引入了伪影和以英语为中心的框架，而具有文化根基的内容则集中在少数几个语言范围狭窄的社区驱动基准中。因此，该生态系统迫使人们在广度与有效性之间做出取舍。严谨性因基准污染而受损，包括翻译基准泄漏和并行语料重叠，这些都能规避表面形式检测。我们将这些发现综合为具体建议，以构建原生构建、具有文化根基、感知污染并旨在服务于其所声称评测语言的社区的评测框架。包含所有收集元数据的仪表板可在此 https URL找到。
| 评论： | 发表于 Conference on Language Modelling, 2026。可在此 https URL找到 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36990 [cs.CL] |
| （或 arXiv:2610.36990v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36990 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Conf. on Language Modeling (COLM), 2026 |
提交历史
来自：Manan Uppadhyay [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 10:37:01 UTC（12,288 KB）
来源：arXiv cs.CL · arxiv.org