arXiv cs.CL· Seunghui Jwa, Minsu Oh, Sangwoo Hong, Yeo Chan Yoon·· 10 小时前AI 评分38
关系知识筛选紧凑知识图谱上下文:Less but Sufficient 方法及外部校验的边界
Less but Sufficient: Relation Knowledge Selects Compact Knowledge-Graph Contexts, and What External Checks Can and Cannot Catch
AI 导读
研究提出用关系知识(手工编写或从带关系路径标注的训练问题中学习)筛选出能推出答案的紧凑知识图谱事实上下文,并配合可推导性检查、一致性检查与验证选择的路由门控。
正文 · AI 翻译
摘要:大型语言模型(LLM)按相关性排序阅读知识图谱事实,这留下了一个未解问题:这些事实是否足够,或是否相互冲突。我们的检查使用关系知识,这些知识由人工编写,或从标注了关系路径的训练问题中学习得到。它选取一个能得出答案的紧凑事实上下文,并推导出答案;可推导性检查测试答案是否随之成立,一致性检查测试事实是否冲突,而由验证选择的路径门控决定在何处用推导出的答案替换 LLM 的答案。七个开源 LLM 在精确匹配上比按相关性排序的事实更好地阅读紧凑上下文;在 ComplexWebQuestions(CWQ)上,它们以四分之一的提示 token 匹配 SubgraphRAG 的事实,而更强的 LLM 则更好地阅读 SubgraphRAG 的事实。在路径门控通过的地方,我们的方法在全部 53 个 LLM、基准和提示设置中于精确匹配上领先 SubgraphRAG。一个精确门控仅在检查通过且恰好有一个推导实体时返回推导出的答案,在预先指定的测试中回答了 18% 和 5% 的留出 WebQSP 和 CWQ 问题,正确率分别为 90% 和 96%。一致性检查仅当另一条路径连接其实体时,才依据路径证据判断事实,这在我们紧凑的 WebQSP 和 CWQ 上下文中对 2.5% 的命名实体事实成立。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.01733 [cs.CL] |
| (或 arXiv:2611.01733v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.01733 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yeochan Yoon [查看电子邮件]
[v1]
2026年11月1日星期日 09:31:11 UTC(103 KB)
来源:arXiv cs.CL · arxiv.org