跳到正文
arXiv cs.CL· Rik van Noord, Maurice Voors·· 23 小时前AI 评分29

The Shared Word(TSW-NL):评估语言模型在荷兰语字谜上的表现

The Shared Word: Evaluating Language Models on Dutch Word Puzzles

AI 导读

研究者构建了荷兰语基准 TSW-NL,用三条指向同一荷兰语词不同义项的歧义线索考察模型跨线索整合能力,共 222 道题、每题含三名独立人类作答。人类得分区间为 49.5%–61.0%,测试中最高分开源权重模型仅 39.3%,多数模型低于 20%。闭源模型表现突出:GPT-4.1(2025 年 4 月)得 59.2%,GPT-5.6 Sol 开启最大推理后达 88.8%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:许多针对非英语语言的 LLM 基准测试是翻译的、多项选择的,或者难以自动评分。我们推出 The Shared Word (TSW-NL),这是一个围绕四项核心原则构建的荷兰语基准测试:它针对特定语言、采用开放词汇、由人工精心策划,并且评分具有确定性。每道谜题给出三条线索,分别描述同一个荷兰语单词的不同义项或用法。这些线索单独来看都有歧义,需要解题者综合多条线索中的证据。我们基于荷兰语维基百科的消歧义页面构建该基准测试,随后进行自动过滤和大量人工策划。最终数据集包含 222 个实例,每个测试项目有三份独立的人工答案。该任务显然具有挑战性:在我们的人工研究中,得分范围为 49.5% 至 61.0%,而我们测试的最高分开源权重模型仅达到 39.3%。许多其他模型的得分甚至低于 20%。与此同时,闭源模型展现出巨大进步:GPT-4.1(2025 年 4 月)得分为 59.2%,而采用最大推理的 GPT-5.6 Sol 得分为 88.8%。我们相信该任务为荷兰语模型评估提供了有用的补充,并且提供了一套清晰的方案,可应用于为其他语言构建类似的基准测试。
评论: EACL 2027 (Findings)
主题: 计算与语言 (cs.CL)
引用为: arXiv:2611.22935 [cs.CL]
  (或 arXiv:2611.22935v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22935

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Rik Van Noord [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 15:30:26 UTC(1,489 KB)

来源:arXiv cs.CL · arxiv.org