arXiv cs.AI· Cosimo Gregucci, Bo Xiong, Daniel Hernandez, Lorenzo Loconte, Pasquale Minervini, Steffen Staab, Antonio Vergari·· 3 天前AI 评分34
知识图谱复杂查询问答（CQA）基准真的复杂吗？ICML 2025 研究揭示现有基准缺陷并提出新基准
Is Complex Query Answering Really Complex?
AI 导读
研究发现现有知识图谱复杂查询问答（CQA）基准存在缺陷：部分查询类型中高达 98% 的查询可归约为链接预测等更简单的问题，导致对领域进展的认知被扭曲。SOTA CQA 模型在无法归约的查询上性能显著下降。作者据此提出一组更具挑战性的新基准，要求模型进行多跳推理，系统实验显示当前 CQA 方法远未达标。
正文 · AI 翻译
摘要：知识图谱（KG）上的复杂查询问答（CQA）作为一项具有挑战性的推理任务正日益受到关注。在本文中，我们表明当前 CQA 的基准可能并不像我们想象的那么复杂，因为它们的构建方式扭曲了我们对该领域进展的认知。例如，我们发现在这些基准中，大多数查询（对于某些查询类型高达 98%）可以归约为更简单的问题，例如链接预测，即只需预测一条链接。当此类模型在无法归约为更简单类型的查询上进行评估时，最先进的 CQA 模型性能会显著下降。因此，我们提出了一组更具挑战性的基准，由需要模型进行多跳推理的查询组成，并更好地反映现实世界 KG 的构建方式。在一项系统的实证研究中，新基准表明当前 CQA 方法仍有很大不足。
| 评论： | ICML 2025 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2410.12537 [cs.LG] |
| （或 arXiv:2410.12537v4 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2410.12537 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Cosimo Gregucci [查看电子邮件]
[v1]
2024年10月16日星期三 13:19:03 UTC（384 KB）
[v2]
2025年2月18日星期二 12:40:13 UTC（483 KB）
[v3]
2025年7月3日星期四 08:36:22 UTC（486 KB）
[v4]
2026年10月12日星期一 16:21:44 UTC（481 KB）
来源：arXiv cs.AI · arxiv.org