arXiv cs.AI· Sadam Hussain, Mansoor Ali, Daly Betzabeth Avenda\~no-Avalos, Jose Gerardo Tamez-Pe\~na·· 14 小时前AI 评分31
可解释多模态 AI 方法减少不必要的乳腺活检
Explainable Multimodal AI Approach to Reduce Unnecessary Breast Biopsies
AI 导读
一项多模态视觉语言框架用 Vision Transformer 提取影像特征、DeBERTa-V3-Large 提取文本嵌入，经晚期融合预测 BI-RADS 4 和 5 患者的良性肿瘤，并借助 Grad-CAM 生成可视化解释。
正文 · AI 翻译
摘要：近年来，用于计算机辅助诊断（CAD）的多模态视觉语言模型不断涌现，但其在乳腺诊断中的应用，尤其是在预测活检结果方面仍然有限。本研究提出了一种多模态视觉语言方法，并将 Grad-CAM 作为可解释人工智能（XAI）技术引入，用于预测被建议进行活检的患者中的良性肿瘤，尤其是被归类为 BI-RADS 4 和 5 的患者。研究开发了一种新型多模态框架，使用 Vision Transformer（ViT）进行影像特征提取，使用 DeBERTa-V3-Large 进行文本嵌入。该模型在一个包含 1,632 名患者的综合内部数据集上进行了训练和评估，每名患者均具有四个乳腺摄影视图及相应的放射学报告。两种模态的特征被独立提取，并在分类前通过晚期融合进行融合。Grad-CAM 用于生成视觉解释，突出影响模型预测的关键区域。所提出的模型表现出高灵敏度，分别为 90%、95%、99% 和 100%，相应的特异度分别为 40%、36%、18% 和 11%。在测试集上，多模态方法取得的最佳 AUC 为 0.72，优于仅图像（0.66）和仅文本（0.68）的基线。所提出的多模态架构结合 Grad-CAM 增强后，在识别高风险患者中的良性肿瘤方面展现出强大潜力，提供可解释的洞见，从而有助于减少不必要的活检、患者焦虑和医疗成本。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35704 [cs.AI] |
| （或 arXiv:2610.35704v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35704 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sadam Hussain [查看电子邮件]
[v1]
2026年10月26日星期一 16:29:09 UTC（3,081 KB）
来源：arXiv cs.AI · arxiv.org