arXiv cs.CL· Anna Mosolova, Djam\'e Seddah·· 10 天前AI 评分27
多语言 LLM 的日常知识短板：TriviaRoomQA 基准揭示流行文化盲区
When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
AI 导读
研究者提出多语言基准 TriviaRoomQA，用 288 个主题的 3,300 道平行多选题（六种欧洲语言）加 5,340 道法语题，评测了 30 个 7B 至 70B 参数的开源权重 LLM。结果显示模型在历史、地理、数学等知识密集型主题上表现强劲，但在名人、音乐、电影、新闻等日常流行文化主题上明显偏弱，且同一问题在不同语言下表现不一，说明事实知识获取并非总是与语言无关。
正文 · AI 翻译
摘要：问答房间、知识竞赛之夜和问答节目会在从经典事实到日常文化的广泛主题上挑战人类知识。在本文中，我们考察大型语言模型（LLM）能否在此类场景中具有竞争力，使用问答式问题在常见和冷门主题上对它们进行测试。我们提出了 TriviaRoomQA，一个多语言基准，旨在评估跨 288 个主题的日常、文化根基深厚以及长尾知识。该基准包含六种欧洲语言的 3,300 道平行多项选择题，以及额外的 5,340 道仅法语题目，用于更细粒度的案例研究。我们评估了来自欧洲、亚洲和北美提供方的 30 个开放权重 LLM，涵盖 7 到 70B 参数的模型。我们发现，模型在历史、地理和数学等知识密集型主题上表现强劲，但在名人、音乐、电影和新闻等日常流行文化主题上明显较弱。此外，即使对于相同的底层问题，模型性能也因语言而异，这表明对事实知识的获取并不总是与语言无关。总之，我们的数据集和实验揭示了现有基于学术的饱和基准未能捕捉到的重要知识差距。
| 评论： | EMNLP 2026 Findings |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.21445 [cs.CL] |
| （或 arXiv:2607.21445v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.21445 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anna Mosolova [查看电子邮件]
[v1]
2026年7月23日星期四 15:52:00 UTC（41,704 KB）
[v2]
2026年10月7日星期三 16:43:46 UTC（14,228 KB）
来源：arXiv cs.CL · arxiv.org