arXiv cs.AI· Luiz do Valle Miranda, Andreas L. Opdahl, Grzegorz J. Nalepa·· 10 小时前AI 评分27
提示词中的图可视化如何提升知识图谱问答：多模态 VLM 的受控评测
Graph Visualizations in Prompts for Knowledge Graph Question Answering
AI 导读
在 1,500 道 WebQSP 和 CWQ 问题、六款 VLM 的固定 KGQA 流程中，加入图图像平均带来 1.85 个 F1 点提升，低复杂度问题的精确率提升达 +4.65 F1。
正文 · AI 翻译
摘要：我们研究多模态输入在何时以及如何改善大型视觉语言模型中的知识图谱问答（KGQA）。在固定的 KGQA 流程下，我们对 1,500 个 WebQSP 和 CWQ 问题以及六个 VLM 进行了受控评估，在逐问题层面比较了纯文本提示与文本加图可视化，并分析了性能变化与推理复杂度、模型规模和图像布局之间的关系。添加图图像平均带来 1.85 个 F1 点的提升，这主要源于低复杂度问题上精确率的显著提高（+4.65 F1）。混合效应和回归分析表明，这些多模态增益并不强烈依赖于模型规模，但对图布局高度敏感：仅图像设置会严重降低性能，分层 Graphviz 布局优于组织性较差的渲染，而将大型子图分解为分离路径则带来最大改进。综合来看，结果表明，只要视觉设计尊重认知和感知约束，视觉提示主要通过提高低复杂度情境下的预测精确率来辅助 KGQA。为了同时优化准确率和推理效率，我们主张采用自适应视觉提示策略，选择性地为小型、视觉稀疏且布局良好的子图附加图表，避免在复杂查询上产生不必要的视觉杂乱和 token 开销。最后，我们将这些发现与视觉符号设计理论联系起来，概述了有原则的图表编码如何指导未来的多模态 VLM 提示。
| 评论： | 已被 AACL-IJCNLP 会议接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.12938 [cs.AI] |
| （或此版本的 arXiv:2611.12938v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.12938 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Luiz Do Valle Miranda [查看电子邮件]
[v1]
2026年11月6日星期五 14:55:29 UTC（5,675 KB）
来源：arXiv cs.AI · arxiv.org