跳到正文
arXiv cs.AI· Zongyu Wu, Yilong Wang, Xiaochen Wang, Minhua Lin, Zhichao Xu, Fenglong Ma, Xiang Zhang, Suhang Wang·· 4 小时前AI 评分24

CEMMKG:面向多模态知识图谱 RAG 的多粒度上下文增强框架

Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs

AI 导读

研究者提出 CEMMKG 框架,通过为每张图像补充局部与全局文本上下文来构建上下文增强的多模态知识图谱,以缓解图文语义鸿沟。局部上下文除周边文本外还纳入与图像语义相关的句子,并采用多粒度设计捕捉不同细节层级的信息,全局上下文则提供整篇文档摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且在不同 MMKG-based RAG 方法上均有效。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于知识图谱(KG)的检索增强生成(RAG)利用结构化知识为大语言模型(LLM)提供高质量的外部信息。在这些工作的基础上,近期研究探索了将多模态知识图谱(MMKG)作为 GraphRAG 的知识库。这使得 GraphRAG 能够整合跨多种模态的知识,从而进一步提升其性能。然而,现有的基于 MMKG 的 RAG 方法通常遵循一种通用流程,即不同模态在很大程度上被独立处理,然后再进行融合。因此,文本上下文在视觉信息抽取和后续多模态知识融合过程中仅得到有限利用。这造成了图像与文本之间的语义鸿沟,限制了多模态 GraphRAG 的性能。为解决这一问题,我们提出了一种新颖的框架,用于构建上下文增强的 MMKG(CEMMKG),以更好地支持多模态 GraphRAG。所提出的 CEMMKG 在局部和全局范围内为每张图像补充了互补的文本上下文。局部上下文不仅包含周围文本,还纳入了与图像语义相关的句子,而全局上下文则提供整个文档的摘要。我们进一步为局部上下文引入了多粒度设计,使其能够捕捉不同细节层次上的语义相关信息。在多个数据集上的大量实验验证了 CEMMKG 能够有效利用上下文信息来提升基于 MMKG 的 RAG 性能。此外,其在不同基于 MMKG 的 RAG 方法上的有效性表明了其广泛的适用性。
评论: 预印本
主题: 人工智能(cs.AI)
引用为: arXiv:2608.25986 [cs.AI]
  (或 arXiv:2608.25986v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.25986

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zongyu Wu [查看电子邮件]
[v1] 2026年8月26日星期三 16:38:02 UTC(553 KB)
[v2] 2026年11月17日星期二 11:26:05 UTC(311 KB)

来源:arXiv cs.AI · arxiv.org