arXiv cs.CL· Sarah Almeida Carneiro (X), Christos Xypolopoulos (X, NTUA), Xiao Fei (X), Yang Zhang (X), Michalis Vazirgiannis (X, MBZUAI)·· 12 小时前AI 评分22
CARTE：评估大语言模型对法国各地区知识掌握程度的基准
CARTE: A Benchmark for Mapping Language Model Knowledge Across France
AI 导读
研究者推出 CARTE 基准，用 3,132 道多选题覆盖法国 13 个大区、12 个主题领域，评估大语言模型对法国境内区域差异化知识的辨别能力。该基准还包含聚焦法语地区语言差异的子集 CARTE-LV，题目经人工审核、LLM-as-a-judge、模型难度校准和二次人工审核四阶段验证。
正文 · AI 翻译
摘要：我们提出 CARTE（Culturally Anchored Regional-Territorial Evaluation，文化锚定的区域-地域评估），这是一个多项选择基准，用于评估大型语言模型（LLM）在法国境内区分细粒度、具有地理依据且区域差异化的知识的能力。此前的基准主要关注国家层面的文化理解，在很大程度上忽视了国家内部的差异以及区分密切相关区域背景的必要性。CARTE 通过引入 3,132 个问题来填补这一空白，这些问题涵盖法国的 13 个大区，并覆盖 12 个主题领域，包括文化、语言、人口、经济、环境和流动性。问题经过四阶段验证：人工审核、LLM 作为评判者、基于模型的难度校准以及第二次人工审核。我们进一步引入 CARTE-LV，这是一个针对法国各区域语言变异的子集，可对语言相关差异进行有针对性的评估。我们评估了 32 个参数规模从 1B 到 30B 的开源权重 LLM 以及三个前沿 API 模型，涵盖零样本、单样本和三样本设置。我们的实验揭示了不同区域和模型规模之间的性能差异，表明预训练覆盖存在系统性缺口，且对国内区域变异的鲁棒性有限。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.01995 [cs.CL] |
| （或 arXiv:2606.01995v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.01995 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sarah Almeida Carneiro [查看电子邮件] [通过 CCSD 代理]
[v1]
2026 年 6 月 1 日星期一 09:50:50 UTC（191 KB）
[v2]
2026 年 10 月 22 日星期四 14:58:05 UTC（4,121 KB）
来源：arXiv cs.CL · arxiv.org