跳到正文
arXiv cs.AI· Jie Peng, Yongxue Shan, Yongfu Zha, Cui Miao, Xiaodong Wang·· 10 小时前AI 评分20

NaviGATE:面向多模态知识图谱推理的噪声感知双视图生成框架

NaviGATE: Noise-Aware Dual-View Generation for Multimodal Knowledge Graph Reasoning

AI 导读

NaviGATE 是一个面向多模态知识图谱推理的噪声感知生成框架,先对齐图结构表示与文本语义,再用多模态实体摘要和结构 token 微调多模态语言模型完成结构感知的内部知识激活。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多模态知识图谱推理(MKGR)旨在通过联合利用关系结构、文本描述和视觉证据来推断缺失事实。现有的基于嵌入的方法能有效捕捉图拓扑结构,但其固定的多模态表示对查询特定的细粒度语义推理效果不佳,而基于生成的方法易受噪声检索影响,并可能生成无效实体。为应对这些挑战,我们提出 NaviGATE,一个面向 MKGR 的噪声感知生成式框架。NaviGATE 首先将图导出的结构表示与文本语义对齐,然后通过使用多模态实体摘要和注入的结构 token 微调多模态语言模型,执行结构感知的内部知识激活。在噪声感知双视图指令微调阶段,NaviGATE 联合优化无检索视图和检索感知视图:可靠的检索候选通过对比 logit 锐化得到强化,而误导性候选则通过参数一致性蒸馏被抑制。在推理阶段,结构约束解码将生成限制在目标知识图谱中的有效实体范围内。在标准基准上的实验表明,NaviGATE 始终优于强大的单模态、多模态和基于生成的基线,并且在噪声检索场景下仍保持稳健。
评论: 9 页,4 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2611.24552 [cs.AI]
  (或 arXiv:2611.24552v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.24552

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jie Peng [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 14:53:42 UTC(552 KB)

来源:arXiv cs.AI · arxiv.org