arXiv cs.CL· Mohamed Chenene, Carlos Rosas-Hinostroza, Anastasia Stasenko, Shani Evenstein Sigalov, Pierre-Carl Langlais·· 6 天前AI 评分34
Wikidata Search Traces：训练知识图谱搜索智能体的数据集
Wikidata Search Traces: A Dataset for Training Knowledge Graph Search Agents
AI 导读
研究者构建了 Wikidata Search Traces 数据集，包含 10,235 条单实体与多跳问题的求解轨迹，并开源了生成这些轨迹的递归语言模型（RLM）harness。
正文 · AI 翻译
摘要：Wikidata 是最大的开放知识库之一，但要在其上回答一个复杂问题，仍然需要编写一个 SPARQL 查询，其中要指明正确的实体和属性，并将它们的关系串联起来。语言模型提供了一种自然语言的替代方案，但主要依靠记忆来回答，这对于不太知名的实体来说最不可靠。我们研究的是通过探索图来回答问题的智能体，并认为有两个障碍限制了它们：缺乏记录求解器如何探索的训练数据，以及会将大量图结果直接添加到模型上下文中的接口。我们检验了三个假设：图搜索的难度可以通过问题的结构来控制，而不仅仅是通过冷僻的实体或措辞；长程搜索中的大部分失败源于检索到的证据的管理方式，而非模型本身；以及在合适的环境中，开放权重模型可以匹敌商业闭源模型。我们在一个冻结的 Wikidata 快照上构建多跳问题，方法是用嵌套条件替换命名实体，并在每次扩展后检查目标是否仍然唯一，以及每个新条件是否必要。我们发布了 10,235 条针对单实体和多跳问题的求解轨迹，以及产生这些轨迹的递归语言模型（RLM）框架，在该框架中，模型批量执行图调用，将结果保存在持久的 Python 状态中，并通过子调用解释选定的证据。在 100 个问题上，与在相同函数上直接调用工具相比，该框架在两种接口下都改善了我们运行的两个模型：gpt-6-luna 从 49 个正确答案提升到 61 个，多跳准确率翻倍；而在单块 GPU 上服务的开放权重模型 Qwen3.8-27B 则从 60 提升到 74。
| 评论： | 技术报告 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.06650 [cs.CL] |
| （或 arXiv:2610.06650v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06650 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Carlos Rosas-Hinostroza [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 16:29:22 UTC（295 KB）
[v2]
2026 年 10 月 6 日星期二 16:10:43 UTC（296 KB）
[v3]
2026 年 10 月 9 日星期五 15:06:01 UTC（296 KB）
来源：arXiv cs.CL · arxiv.org