arXiv cs.AI· Jinwoo Kim, Rina Carines Cabral, Dhita Putri Pratama, Eileen Wang, Hiba Arnaout, Shuo Yang, Danyang Liu, Seungyeon Ji, Jie Yang, Josiah Poon, Jeff Z. Pan, Kyungreem Han, Soyeon Caren Han·· 10 小时前AI 评分27
MMCOMET：面向视觉推理的大规模多模态常识知识图谱
MMCOMET: A Large-Scale Multimodal Commonsense Knowledge Graph for Visual Reasoning
AI 导读
MMCOMET 通过混合对齐流程为 ATOMIC2020 的每条常识三元组关联代表性图像，构建出覆盖 19 种关系类型、超过 90 万多模态元组的大规模多模态常识知识图谱。
正文 · AI 翻译
作者：Jinwoo Kim、Rina Carines Cabral、Dhita Putri Pratama、Eileen Wang、Hiba Arnaout、Shuo Yang、Danyang Liu、Seungyeon Ji、Jie Yang、Josiah Poon、Jeff Z. Pan、Kyungreem Han、Soyeon Caren Han
摘要：常识知识被广泛用于支持多模态推理与生成，然而现有资源大多仅限文本，缺乏视觉语境中的依据。这一局限常常导致检索到语义相关但视觉上不匹配的知识，并可能降低下游性能。我们提出 MMCOMET，一个大规模多模态常识知识图谱，将物理、社会与事件知识同视觉依据相结合。MMCOMET 通过混合对齐流程为每个常识三元组关联代表性图像，从而扩展了 ATOMIC2020，最终形成涵盖 19 种关系类型的超过 90 万多模态元组。我们进一步建立了一个跨多种视觉-语言任务的统一评估框架，包括视觉常识推理、视觉问答、视觉故事生成、图像编辑和图像描述。我们的分析表明，与纯文本知识图谱和基于 LLM 的知识生成相比，多模态依据能提供更具语境一致性和更可靠的知识，在推理密集型场景中尤为明显。同时，我们观察到外部知识的有效性取决于任务，朴素的知识集成可能在感知主导的设置中引入噪声。为缓解这一问题，我们提出一种自适应知识路由器，可动态选择最优路径或在有害设置中绕过知识。MMCOMET 提供了可扩展的多模态常识资源，以及用于研究有依据知识在多模态系统中作用的基准。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2603.01055 [cs.AI] |
| （或本版本使用 arXiv:2603.01055v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2603.01055 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jinwoo Kim [查看电子邮件]
[v1]
2026年3月1日周日 11:21:50 UTC（7,620 KB）
[v2]
2026年11月2日周一 04:28:17 UTC（48,037 KB）
[v3]
2026年11月10日周二 04:13:56 UTC（48,037 KB）
来源：arXiv cs.AI · arxiv.org