arXiv cs.CL· Yoshifumi Kawasaki·· 12 小时前AI 评分23
研究评估 10 款 LLM 在 21 个西班牙语国家的地区词汇知识
Evaluating Geographic Lexical Knowledge in Large Language Models Across 21 Spanish-Speaking Countries
AI 导读
一项研究用覆盖 21 个西班牙语国家、934 个词汇条目的专家数据库，将 10 款专有与开源权重 LLM 当作虚拟受访者，测试其按国家判断词汇使用的能力。评测包含 10,164 道 Yes-No 题与 16,637 道多选题，结果显示模型、国家和题型间差异显著：西班牙在 8 款模型的 Yes-No 题和 9 款模型的多选题中得分最高，智利在所有模型的多选题中得分最低。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地为不同地区的用户提供服务，但其对地理词汇变体的知识仍缺乏充分评估。我们利用一个由专家整理、覆盖 21 个西班牙语国家 934 个词汇条目的数据库，研究西班牙语中按国家区分的词汇使用判断。我们将十个专有和开放权重的 LLM 视为虚拟信息提供者，评估两种互补的问题格式：是非题格式（YNQF）和多项选择题格式（MCQF）。评估包含 10,164 个 YNQF 问题和 16,637 个 MCQF 问题，分别使用 F1 和调整后的 Jaccard 系数进行评估。结果显示，不同模型、国家和格式之间存在显著差异。在 YNQF 中，西班牙在八个模型上获得最高的国家级得分；在 MCQF 中，西班牙在九个模型上获得最高得分；智利在每个模型的 MCQF 中得分最低。回归分析表明，数字资源量通常与 YNQF 表现关联更强，而与西班牙的词汇距离与 MCQF 表现关联更强。这些发现对不均衡的区域词汇知识提供了细粒度诊断，并强调了互补性引出格式和评估指标的重要性。该基准衡量的是显性使用判断，这促使我们另行评估符合地区的生成能力。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.09346 [cs.CL] |
| （或 arXiv:2602.09346v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.09346 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yoshifumi Kawasaki [查看电子邮件]
[v1]
2026年2月10日星期二 02:42:22 UTC（648 KB）
[v2]
2026年10月27日星期二 13:42:08 UTC（4,584 KB）
来源：arXiv cs.CL · arxiv.org