arXiv cs.AI· Shrihari Dumbre, Bikash Santra·· 10 天前AI 评分22
多模态知识蒸馏用于全切片图像胃腺癌分类
Multimodal Knowledge Distillation for Gastric Adenocarcinoma Classification from Whole-Slide Images
AI 导读
研究提出多模态知识蒸馏（MKD）框架，用低秩多模态融合（LMF）结合预训练 WSI 图像编码器与临床文本编码器，教师模型学习图像-文本融合表示做亚型分类，学生模型蒸馏该知识实现仅图像推理。在 PatchGastric 基准上平均准确率比 SOTA 至少高 3.35%，且不依赖 Transformer 融合、多任务学习或大语言模型。
正文 · AI 翻译
摘要：胃腺癌（GA）是全球癌症相关死亡的主要原因之一，从全切片图像（WSI）中准确进行组织病理学亚型分类对于制定有效的治疗方案至关重要。虽然将病理报告文本与 WSI 整合的多模态方法可以改善分类，但现有方法通常依赖计算成本高昂的 transformer 架构和大语言模型。我们提出了一种多模态知识蒸馏（MKD）框架，该框架结合预训练的 WSI 图像编码器和临床文本编码器，使用低秩多模态融合（LMF）在训练期间高效地建模跨模态交互。每张 WSI 表示为一袋图像块，并与切片级诊断描述配对。教师模型学习用于亚型分类的融合图像-文本表示，而学生模型蒸馏这些知识以实现仅基于图像的准确推理。我们在 PatchGastric 基准数据集上评估了我们的方法，与最先进的方法相比，平均准确率至少高出 3.35%，且不依赖基于 transformer 的融合、多任务学习或大语言模型。源代码可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07913 [cs.CV] |
| （或 arXiv:2610.07913v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07913 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bikash Santra [查看电子邮件]
[v1]
2026年10月6日星期二 07:56:54 UTC（5,469 KB）
来源：arXiv cs.AI · arxiv.org