arXiv cs.CL· Nadun Rajapaksha, Sandun Herath, Devnith Wijesinghe, Isiri Amani Withanawasam, Hasindri Watawana, Ranga Rodrigo·· 12 小时前AI 评分29
PathKGen：病理知识图谱辅助 MLLM，实现可解释的组织病理学报告生成
PathKGen: Pathology Knowledge Assisted MLLM for Explainable Histopathology
AI 导读
PathKGen 是知识图谱辅助的 MLLM，用于组织病理学报告生成，在 WSI-Bench 上超越此前 SOTA，并将诊断推理呈现为可视化图谱。它包含视觉路径与知识路径两条分支：前者用病理基础模型学习视觉 token 输入，后者通过查询病理专用知识图谱提取 WSI 关键形态特征以生成知识 token。该知识路径采用模块化设计，可与视觉对齐的 MLLM 互补，并通过构建领域知识图谱扩展到其他应用。
正文 · AI 翻译
摘要：全切片图像（WSI）分析是数字组织病理学中癌症临床诊断的基本方法。多模态大语言模型（MLLM）的最新进展使得最先进（SOTA）的自动化组织病理学报告生成成为可能。然而，MLLM 仅通过其神经参数中编码的分布进行推理，受模型规模限制，其所能包含的知识量和推理逻辑有限。其黑盒推理对人类解读中间推理过程构成了另一项挑战。我们通过利用知识图谱为 MLLM 注入外部结构化知识以供其推理，同时使该推理组件可见，从而解决这些问题。知识图谱能够部分外化医学知识的容纳，这一领域在病理报告生成中仍未得到充分探索。我们提出 PathKGen，一种用于组织病理学报告生成的知识图谱辅助 MLLM。PathKGen 有两个主要分支：（1）视觉路径，使用病理基础模型学习输入到 MLLM 的视觉 token；（2）知识路径，通过查询病理专用知识图谱提取 WSI 的关键形态特征，从而学习知识 token 输入。在 WSI-Bench 数据集上的全面评估表明，PathKGen 超越了先前的 SOTA 方法，同时将诊断推理呈现为视觉上直观的图。由于其模块化设计，所提出的知识路径与视觉对齐的 MLLM 互补，并可通过整理领域专用知识图谱以生成知识 token 来扩展到其他应用。
| 评论： | 被 WACV 2027 接收。源代码可在 此 https URL 获取 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33691 [cs.CV] |
| （或 arXiv:2610.33691v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33691 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sandun Herath [查看电子邮件]
[v1]
2026年10月24日星期六 14:13:13 UTC（11,631 KB）
来源：arXiv cs.CL · arxiv.org