arXiv cs.AI· Ali Sarabadani, Kheirolah Rahsepar Fard, Tahereh Jeirani·· 11 小时前AI 评分31
异构认知与生物医学知识图谱上的大语言模型基准测试：图接地在多跳推理与幻觉缓解中的作用
Benchmarking Large Language Models on Heterogeneous Cognitive and Biomedical Knowledge Graphs: The Role of Graph Grounding in Multi-Hop Reasoning and Hallucination Mitigation
AI 导读
研究对 GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen 和 BioGPT 五个 LLM 在 DrugBank、NeuroSynth、Cognitive Atlas、Brain Map 和 GDPKG 五个知识图谱上进行基准测试，GPT-5.1 与 Gemini 2.0 Pro 在多跳和高层推理任务上普遍优于领域专用模型，但性能随查询复杂度上升而下降。
正文 · AI 翻译
摘要：大语言模型（LLM）正日益应用于生物医学和认知神经科学领域，但其在异构知识图谱（KG）上进行可靠推理的能力仍不明确。我们对五个 LLM（GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen 和 BioGPT）在五个 KG（DrugBank、NeuroSynth、Cognitive Atlas、Brain Map 和 GDPKG）上进行了基准测试。我们引入了一个多层查询数据集，用于评估在 KG 感知（图接地）和 KG 无关条件下的推理深度和事实准确性。标注者间一致性显著，Cohen's kappa 为 0.781（范围：0.753-0.807），Fleiss' kappa 为 0.77。结果表明，通用模型，尤其是 GPT-5.1 和 Gemini 2.0 Pro，在多跳和高层推理任务上通常优于领域特定模型，尽管性能会随着查询复杂度的增加而下降。KG 接地降低了所有评估模型的幻觉率。与我们的初始假设相反，在没有图接地的情况下，领域特定模型在专业任务上并不始终优于通用模型。这些发现凸显了将广泛的语言模型能力与结构化领域知识相结合的价值。我们根据任务复杂度和计算约束，为选择 LLM-KG 集成策略提供了实用指导，并讨论了用于个性化医疗、认知障碍诊断和可解释 AI 的混合神经符号架构。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08315 [cs.AI] |
| （或 arXiv:2611.08315v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08315 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ali Sarabadani [查看电子邮件]
[v1]
2026年11月5日星期四 17:12:58 UTC（888 KB）
来源：arXiv cs.AI · arxiv.org