arXiv cs.CL· Alberto Cattaneo, Carlo Luschi, Daniel Justus·· 3 天前AI 评分22
SynthKGQA：为知识图谱增强 LLM 生成真值子图以改进训练与评测
Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs
AI 导读
研究者提出 SynthKGQA，一个由 LLM 驱动的框架，可从任意知识图谱生成高质量知识图谱问答数据集，并提供完整的真值事实集合。基于 Wikidata 衍生的 ogbl-wikikg2 构建的 GTSQA 数据集，专门测试对未见图结构和关系类型的零样本泛化能力。实验显示，在 GTSQA 上训练的 KG 检索器可迁移到人工标注基准，且其真值子图比以往启发式方法提供更好的训练监督信号。
正文 · AI 翻译
摘要：从图结构知识库中检索信息是提升 LLM 事实性的一个有前景的方向。尽管已提出多种解决方案，但由于缺乏带有图检索真实目标的高难度 QA 数据集，方法之间的比较十分困难。我们提出 SynthKGQA，一个由 LLM 驱动的框架，可从任意知识图谱生成高质量的知识图谱问答数据集，并提供 KG 中完整的真实事实集合以对问题进行推理。为展示其实用性，我们将 SynthKGQA 应用于 ogbl-wikikg2（一个源自 Wikidata 的 KG），并对照最新的 Wikidata 转储验证生成的条目，从而创建 GTSQA。这个新数据集专门用于测试针对未见图结构和关系类型的零样本泛化能力，使我们能够以前所未有的细粒度分析 SOTA 图检索方法的能力与局限。我们还表明，在 GTSQA 上训练的 KG 检索器可以迁移到人工整理的基准上，并且 SynthKGQA 生成的真实子图比先前使用的启发式方法提供了更好的训练监督信号。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR) |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL)；信息检索 (cs.IR) |
| 引用为： | arXiv:2511.04473 [cs.LG] |
| （或本版本使用 arXiv:2511.04473v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2511.04473 arXiv 颁发的 DOI，通过 DataCite |
|
| 期刊 参考： | Transactions on Machine Learning Research (TMLR), 09/2026 |
提交历史
来自：Daniel Justus [查看邮箱]
[v1]
2025年11月6日星期四 15:45:18 UTC（2,273 KB）
[v2]
2025年12月4日星期四 08:34:50 UTC（2,504 KB）
[v3]
2026年9月21日星期一 07:52:30 UTC（2,726 KB）
[v4]
2026年10月14日星期三 08:53:00 UTC（2,726 KB）
来源：arXiv cs.CL · arxiv.org