arXiv cs.CL· Ghazal Kalhor, Behnam Bahrak·· 3 天前AI 评分20
MasalBench：评估 LLM 对波斯谚语语境与跨文化理解的基准
MasalBench: A Benchmark for Contextual and Cross-Cultural Understanding of Persian Proverbs in LLMs
AI 导读
研究者推出 MasalBench，用于评估 LLM 对低资源语言波斯谚语的语境与跨文化理解。八款 SOTA 模型在上下文中识别波斯谚语准确率超 0.90，但识别对应英文谚语时最佳模型仅 0.79，暴露了文化知识与类比推理的短板。该基准已被 PlurVA-LLM 2026 研讨会接收。
正文 · AI 翻译
摘要：近年来，多语言大语言模型（LLM）已成为日常生活中不可或缺的一部分，因此它们必须掌握对话语言的规则，才能与用户有效沟通。虽然此前的工作已评估了 LLM 在高资源语言中对比喻性语言的理解，但它们在低资源语言中的表现仍未被充分探索。在本文中，我们提出了 MasalBench，这是一个用于评估 LLM 对波斯谚语的语境和跨文化理解能力的综合基准，而波斯谚语是这一低资源语言中对话的关键组成部分。我们在 MasalBench 上评估了八个最先进的 LLM，发现它们在识别语境中的波斯谚语方面表现良好，准确率超过 0.90。然而，当任务变为识别对应的英语谚语时，它们的表现大幅下降，最佳模型仅达到 0.79 的准确率。我们的发现凸显了当前 LLM 在文化知识和类比推理方面的局限性，并为评估其他低资源语言中的跨文化理解提供了一个框架。MasalBench 可在 此 https URL 获取。
| Comments: | 已被接收并将于 AACL-IJCNLP 2026 的 First Workshop on Pluralistic Value Alignment of LLMs (PlurVA-LLM 2026) 上发表 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2601.22050 [cs.CL] |
| （或 arXiv:2601.22050v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.22050 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Ghazal Kalhor [查看邮箱]
[v1]
2026年1月29日星期四 17:49:44 UTC（432 KB）
[v2]
2026年10月14日星期三 08:32:20 UTC（432 KB）
来源：arXiv cs.CL · arxiv.org