arXiv cs.AI· Alexander Hickey, Joanna Knight, James Bishop·· 6 天前AI 评分32
语言模型能玩维基百科游戏吗？GPT-o3 mini、GPT-4o、QwQ:32B 与 DeepSeek-R1:70B 的导航能力对比
Can Language Models Play the Wikipedia Game?
AI 导读
研究用维基百科游戏测试语言模型的信息检索能力，让模型仅靠文章链接抵达目标条目，并在五种维基百科语言和五个学术文献数据集上对比了句嵌入模型与 LLM。GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 表现最佳，成功率与人类相当，但无模型显著超越人类，且性能与排名随语言和主题变化。
正文 · AI 翻译
摘要：语言模型越来越多地支持或自动从大到无法建立索引的文档集合中进行信息检索。当这项任务需要专业的语言学或科学知识时，就会变得困难。我们使用 Wikipedia Game 来测试语言模型在类似信息检索任务上的表现。在游戏中，玩家必须仅通过文章链接到达目标文章。我们比较了五种维基百科语言和五个学术文献数据集上的句子嵌入模型和 LLM。我们使用 OpenAlex 构建了非常大的维基百科页面和论文引用本地图，并提供了构建和浏览这些图的代码。这使得研究语言模型的导航能力无需依赖第三方 API。我们将这些模型与人类和 TF-IDF 基准进行了比较。Wikipedia Game 形式能够实现跨技术、语言和领域的稳健比较。没有模型显著优于人类，尽管最佳模型（GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B）取得了相当的成功。性能和排名因语言和主题而异，这对使用这些技术的从业者具有启示意义。
| 评论： | 64 页（14 页正文、参考文献和 16 个附录），17 幅图，10 张表 |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.13948 [cs.AI] |
| （或 arXiv:2610.13948v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13948 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alexander Hickey [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 17:59:56 UTC（1,204 KB）
来源：arXiv cs.AI · arxiv.org