arXiv cs.CL· Isaac Saxton-Knight, Gabriel Saxton-Knight, Diego Oliveira, Tidor-Vlad Pricope, Aston Garratt, Jocelyn D'Arcy·· 10 小时前AI 评分29
CulturalCrosswords：评估答案约束与填格能力的多语言基准
CulturalCrosswords: A Multilingual Benchmark of Answer Constraints and Grid Completion
AI 导读
CulturalCrosswords 用 42 种语言、众包谜语构建的 53 个填字游戏，评测 11 种 LLM 配置在答案约束下的表现。在 962 条存在替代答案的线索上，给出长度要求使模型与参考答案的一致率提升 22.8 个百分点，若同时接受替代答案则仅提升 8.4 个百分点。填字输入使所有交叉格答案兼容比例提高 9.7 个百分点，而要求填满整格则暴露出模型间的巨大差异。
正文 · AI 翻译
摘要：当谜题有多个答案都符合时，精确匹配评分可能会惩罚有效回答。CulturalCrosswords 测试答案约束如何影响大语言模型（LLM）解答文化谜题，这些谜题的解答依赖于特定社区的知识。我们基于 42 种语言的众包谜题构建了 53 个填字游戏，并在每组线索的五个版本上评估了 11 种 LLM 配置：普通批次、带长度的批次、带长度和部分答案提示的批次，以及要求提供答案列表或完成网格的填字游戏。在 962 条具有替代答案的线索上，长度使与参考答案的一致率提高了 22.8 个百分点，而在接受的替代答案也计分时仅提高 8.4 个百分点。因此，部分增益似乎来自选择所需的答案形式。填字游戏输入使所有交叉点中答案兼容的比例提高了 9.7 个百分点；要求完成网格则揭示了模型之间的巨大差异。该基准区分了与参考答案的一致性和生成相互契合且占据正确单元格的答案的能力。
| 评论： | 23 页，7 幅图，包括附录 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.10044 [cs.CL] |
| （或 arXiv:2611.10044v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10044 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tidor-Vlad Pricope [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 21:45:08 UTC（197 KB）
[v2]
2026 年 11 月 10 日星期二 03:31:27 UTC（197 KB）
来源：arXiv cs.CL · arxiv.org