arXiv cs.AI· Xiaochen Wang, Yuan Zhong, Lingwei Zhang, Lisong Dai, Ting Wang, Fenglong Ma·· 11 小时前AI 评分24
MEDMKG：用多模态知识图谱评测医学知识利用
MEDMKG: Benchmarking Medical Knowledge Exploitation with Multimodal Knowledge Graph
AI 导读
研究者提出 MEDMKG 医学多模态知识图谱，将 MIMIC-CXR 的影像数据与 UMLS 的结构化临床知识融合，并用规则工具与大语言模型完成概念抽取和关系建模。
正文 · AI 翻译
摘要：医学深度学习模型高度依赖领域特定知识，才能在知识密集型的临床任务中表现良好。以往的工作主要利用单模态知识图谱（如统一医学语言系统 UMLS）来提升模型性能。然而，多模态医学知识图谱的整合在很大程度上仍未得到充分探索，主要原因是缺乏将影像数据与临床概念关联起来的资源。为填补这一空白，我们提出 MEDMKG，一个医学多模态知识图谱，通过多阶段构建流程统一视觉与文本医学信息。MEDMKG 将 MIMIC-CXR 中丰富的多模态数据与 UMLS 中结构化的临床知识相融合，同时利用基于规则的工具和大语言模型进行准确的概念抽取与关系建模。为确保图谱的质量与紧凑性，我们引入了 Neighbor-aware Filtering (NaF)，一种专为多模态知识图谱设计的新型过滤算法。我们在两种实验设置下通过三项任务评估 MEDMKG，在六个数据集上对二十四种基线方法和四种最先进的视觉-语言骨干模型进行了基准测试。结果表明，MEDMKG 不仅提升了下游医学任务的性能，还为在医学人工智能中开发自适应且鲁棒的多模态知识整合策略提供了坚实基础。
| 评论： | 被 ACM Multimedia'26 接收 |
| 主题： | 人工智能 (cs.AI) |
| 引用为： | arXiv:2505.17214 [cs.AI] |
| （或 arXiv:2505.17214v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2505.17214 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaochen Wang [查看邮箱]
[v1]
2025年5月22日 星期四 18:41:46 UTC (238 KB)
[v2]
2026年10月23日 星期五 16:47:05 UTC (1,793 KB)
来源：arXiv cs.AI · arxiv.org