arXiv cs.AI· Ankana Banerjee (University of Stavanger, Norway), Mark van der Giezen (University of Stavanger, Norway), Ole Gunnar Aasprong (Stavanger University Hospital, Norway), Emiel A. M. Janssen (University of Stavanger, Norway), {\O}yvind Steinsb{\o} (Stavanger University Hospital, Norway), Tore Grimstad (Stavanger University Hospital, Norway), Kjersti Engan (University of Stavanger, Norway)·· 10 小时前AI 评分22
炎症性肠病全切片图像与临床数据的多模态融合方法对比研究
Multimodal Fusion Methods for Whole-Slide Images and Clinical Data in Inflammatory Bowel Disease
AI 导读
研究提出模块化框架，将冻结基础模型patch嵌入经注意力聚合得到的切片级嵌入与每次就诊的临床嵌入，输入15种可互换融合方法，在炎症性肠病前瞻性队列中预测STRIDE-II对齐的缓解结局。最佳融合方法macro-F1达0.57-0.75，在六种场景中的四种优于单模态模型，且表现随结局和输入而异。图像依赖程度随缓解类型变化，组织学缓解最高、内镜缓解最低，准确率相近的方法对切片的依赖程度差异很大。
正文 · AI 翻译
作者：Ankana Banerjee (1)，Mark van der Giezen (1, 2, 3)，Ole Gunnar Aasprong (2)，Emiel A. M. Janssen (1, 2)，Øyvind Steinsbø (2, 4)，Tore Grimstad (2, 4)，Kjersti Engan (1)（(1) 挪威斯塔万格大学，(2) 挪威斯塔万格大学医院，(3) 英国格林威治大学，(4) 挪威卑尔根大学）
摘要：组织学与临床数据的多模态 AI 融合是计算病理学中的一个活跃研究领域，但融合方法很少在相同条件下并跨不同临床终点进行比较。我们提出了一个模块化框架，其中通过在一个冻结基础模型的 patch 嵌入上训练基于注意力的聚合器而获得的切片级嵌入，以及每次就诊的临床嵌入，被输入到 15 种可互换的融合方法中，这些方法具有共享的输出维度和预测头（决策级方法除外）。使用一个新诊断炎症性肠病患者的前瞻性队列，我们从基线或随访就诊中预测了与 STRIDE-II 对齐的缓解结局。最佳融合方法达到 macro-F1 0.57-0.75，在六种场景中的四种中优于两个单模态模型，并且因结局和输入而异。图像依赖度，即移除切片嵌入时平衡准确率的下降，倾向于随缓解类型而变化——组织学缓解最高，内镜缓解最低；准确率相近的方法对切片的依赖程度差异很大。
| 评论： | 5 页，4 幅图，提交至 2027 IEEE 第 24 届国际生物医学成像研讨会（ISBI） |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.05579 [cs.CV] |
| （或 arXiv:2611.05579v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05579 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ankana Banerjee [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 20:11:07 UTC（4,655 KB）
来源：arXiv cs.AI · arxiv.org