跳到正文
arXiv cs.AI· Fakabbir Amin·· 13 小时前AI 评分38

超越相似度搜索:面向企业 RAG 的知识图谱元数据增强

Beyond Similarity Search: Knowledge Graph Metadata Enrichment for Enterprise Retrieval-Augmented Generation

AI 导读

研究用知识图谱存储元数据与频繁变动信息,能否在企业文档检索中胜过基于嵌入向量的相似度搜索。实验基于 SEC EDGAR 单季度快照,含 10,511 家公司 167,050 份文件、508,714 个嵌入文本块,并构建 430,257 节点、561,144 条边的知识图谱。

正文 · AI 翻译

查看 PDF

摘要:RAG 系统的一个关键挑战是从由多个团队随时间创建的企业文档中检索信息,而在这些文档中,无法利用组织文档职责范围之外可获取的最新信息和元数据来丰富信息。我们研究了使用知识图谱存储元数据和频繁变化的信息,是否能在基于嵌入的相似度搜索之上改进知识检索。为进行实验,我们创建了 SEC EDGAR 数据集一个季度的快照,包含来自 10,511 家公司的 167,050 份申报文件和 508,714 个嵌入的风险因素文本块。为模拟信息丰富过程,我们创建了一个包含 430,257 个节点和 561,144 条边的知识图谱,每条边都带有一个 accession number。为评估基于图谱的设计所获得的增益,我们评估了三种架构:基于类型化列的 text-to-SQL、采用 HNSW 余弦搜索的稠密向量 RAG,以及两阶段 GraphRAG 设计。所有架构共享相同的模型和温度,以便进行比较。结果由 LLM 作为评判者,针对分为四个类别的 20 个问题以程序化方式评分,每个问题询问三次。GraphRAG 在全部三次尝试中解决了 20 个问题中的 16 个,而 text-to-SQL 为 10 个,向量 RAG 为 3 个。GraphRAG 在结构化聚合查询上表现不佳。向量 RAG 在原本预期会胜出的单文档类别上失利,15 个中仅通过 3 个,而 GraphRAG 通过了 15 个中的 15 个,因为在此规模下无法从余弦相似度中恢复公司归属。基准测试中全部六处自信的错误陈述均为 text-to-SQL 将共享同一姓氏的不同人物混为一谈,而在读取任何文本之前先将身份解析为标识符可从结构上防止这一失败;GraphRAG 未出现此类错误。我们不主张超出此语料库、此模型和此问题集的任何优势。
主题: 信息检索 (cs.IR);人工智能 (cs.AI);机器学习 (cs.LG)
引用为: arXiv:2610.37728 [cs.IR]
  (或使用 arXiv:2610.37728v1 [cs.IR] 查看此版本)
  https://doi.org/10.48550/arXiv.2610.37728

由 DataCite 颁发 arXiv DOI

提交历史

来自:Fakabbir Amin [查看电子邮件]
[v1] 2026年10月27日星期二 12:09:48 UTC(44 KB)

来源:arXiv cs.AI · arxiv.org