CulturalRiddles：一个多文化谜语基准
CulturalRiddles: A Multicultural Benchmark of Riddles
研究者提出 CulturalRiddles，一个完全由人类通过社区协作创作的文化谜语基准，覆盖 62 种文化（45 个国家、51 种语言），要求模型具备溯因与组合推理能力及文化特定联想知识。对 28 种 LLM 配置的自动与大规模人工评测显示，即使前沿模型在某些文化社区中准确率最高仅 22%。所有产物已公开，并提供开放贡献流程以扩展语言与文化覆盖。
作者：My Chiffon Nguyen、Tianyi Hu、Vinod Anbalagan、Henry Gagnier、Pouya Sadeghi、Farah Abdou、Tidor-Vlad Pricope、Diego MMS Oliveira、Jocelyn K D'Arcy、Madeline Smith、Oluwaseun A Ajayi、Yusser Al Ghussin、Zena Al-Khalili、Micol Altomare、Shayan Amir、Ahanaf Aziz、Bryan Chen、Ruchira Dhar、Abdellah El Mekki、Rawan Mohammed Elframawy、Akhil Eppa、Silvia Fernandez、Alex Gimei、Arya Hariharan、Christian Hoang、RamMohanRao Kadiyala、Diana Kozachek、Peerat Limkonchotiwat、Ankita Maity、Di Mo、Ayush Munot、Aylin Naebzadeh、Anastasiia Nikitina、Dina Pisarevskaya、Divas Poudel、Jebish Purbey、Md Rabius Sany Apu、Ahmad Mufli Ramadhan、Ralitza Nikolova Rizova、Diogo M. Serrano-Miranda、Vivek Gopalkrishna Silimkhan、Luis Fernando Solis Navarro、Kaiser Sun、Arya Suneesh、Manaswitha Sunkara、Tejaswi Sunkara、Jonathan E Swindell、Hanna Yukhymenko、Jingyi Zheng、Esther Adenuga、Ilia Afanasev、Wafa Aissa、Lisa Alazraki、Lauren C Altomare、Priscilla Amondi Amuok、Emile Anand、Gabriel Assis、José Matías Avalos、Silvia Lorena Avila、Zakaria Baannou、Niyati Bafna、Yash Bagla、Sarah Bahrami、Bontu F Balcha、Vanya Bannihatti Kumar、Irene Baucells、Abdumutalib Begmuratov、Naman Bhatia、Souvik Bhattacharyya、Isabel Blanco Ferreiro、Felipe Bochini、Sayuru Bopitiya、Angana Borah、Tulika Bose、Olena Bugaiova、Juliana Carvalho、Nancy F Chen、Stephy Chen、Rochelle Choenni、Jayanth Krishna Chundru、Leandro A Cossio、Nebojša Damnjanović、Ona de Gibert、Marco De Santis、Pedro Delgado、Kaustubh Dholé、Adnan El Assadi、Wesam El-Sayed、Nadine M Elframawy、Oumayma Essarhi、Naome A Etori、Reuben Chagas Fernandes、Saanidhi Pravin Gade、Javier García Gilabert、Álvaro González-Escapa、Bin Hu、Kaiyu Huang、Abderrahmane Issam、Danka Jokić、Ulugbek Khalilov
等（另有 58 位作者未显示）
摘要：随着 LLM 扩大其语言覆盖范围，评估它们对多元文化的理解与表征能力变得日益重要。然而，许多基准仍以英语为中心，文化覆盖有限，且侧重于事实性知识而非其在真实文化语境中的应用。我们提出 CulturalRiddles，这是一个由人类通过参与式社区协作完全原创、扎根于文化的谜语基准，涵盖 62 种文化（45 个国家、51 种语言）。这些谜语深深植根于各自的文化，需要溯因推理与组合推理，以及详细的事实与社会知识、语言技能和对文化特定联想的理解。我们使用自动评估和大规模人工评估对 28 种 LLM 配置进行了基准测试。即使是最前沿的模型在某些社区中也最多只能达到 22% 的准确率。我们公开发布所有产物，并提供开放贡献流程，以扩展该基准的语言与文化覆盖范围。
| 评论： | 37 页。数据集：this https URL 代码：this https URL |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.29968 [cs.CL] |
| （或 arXiv:2610.29968v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29968 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pouya Sadeghi [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 16:20:30 UTC (3,177 KB)
来源：arXiv cs.CL · arxiv.org