arXiv cs.AI· Wei Zhang, Wolfgang Nejdl, Ming Tang·· 14 小时前AI 评分24
SAP-ViT：面向医学图像分类的自归因 Patch Vision Transformer
SAP-ViT: A Self-Attributing Patch Vision Transformer for Medical Image Classification
AI 导读
SAP-ViT 用最后一层 patch 嵌入的直接聚合替代 CLS token 分类，使类别预测在前向传播中即可分解为 patch 级贡献。该模型对 patch 权重分布施加稀疏正则化，并引入输入空间反向映射机制，估计哪些输入 patch 影响了关键输出 patch 嵌入。在多种成像模态的医学图像分类数据集上，SAP-ViT 保持较强分类性能，同时提供一致的 patch 级可解释解释。
正文 · AI 翻译
摘要：视觉 Transformer（ViT）分类器通常依赖全局分类（CLS）token 进行图像级预测，这与医学影像中对局部可解释性的要求契合不佳。我们提出 SAP-ViT，一种自归因图像块视觉 Transformer，它用对最后一层图像块嵌入的直接聚合取代基于 CLS 的分类。这一设计使类别预测在前向传播过程中即可分解为图像块级贡献。为促使证据简洁易读，SAP-ViT 对图像块权重分布施加稀疏正则化。由于自注意力会在图像块 token 之间混合信息，我们进一步引入输入空间反向映射机制，以估计哪些输入图像块对具有影响力的输出图像块嵌入有贡献。我们在涵盖不同成像模态的多个医学图像分类数据集上对 SAP-ViT 进行了定性和定量评估。结果表明，SAP-ViT 在保持强劲分类性能的同时，能在各数据集上提供一致且可解释的图像块级解释。消融结果进一步表明，稀疏正则化和输入空间反向映射的对齐组件均对最终解释质量有所贡献。总体而言，SAP-ViT 为基于 ViT 的医学图像分类在预测准确性与可解释性之间提供了良好的权衡。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35593 [cs.AI] |
| （或 arXiv:2610.35593v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35593 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Zhang [查看邮箱]
[v1]
2026年10月26日 星期一 15:19:58 UTC（21,066 KB）
来源：arXiv cs.AI · arxiv.org