胸部 X 射线 AI 分类任务在多国公开与私有数据集上的基准评测：一项回顾性诊断准确性研究

作者：Qinmei Xu、Yiheng Li、Wenya Zhao、Zihao Zhao、Chuanjun Xu、Ahmet Gorkem Er、Xianghao Zhan、Brittany Dashevsky、Mohammed Alawad、Marc von der Stück、Marvin Gazibarić、Daniel Truhn、Shunsuke Shibata、Ryosuke Horino、Mio Ito、Akio Hiwatashi、Suyu Li、Mengya Yang、Ya Liu、Zhiyuan Sun、Changsheng Zhou、Haruka Itakura、Xiao Li、Olivier Gevaert

查看 PDF HTML（实验性）

摘要：胸部 X 射线（CXR）AI 模型越来越多地被提出用于分诊、筛查和排除，其中工作点被固定为尽量少漏诊异常。然而，大多数评估只是在少数公开基准上报告无阈值判别性能，导致临床可用的性能及其对未见机构队列的泛化能力难以充分刻画。我们回顾性评估了 10 个已发表的 CXR 分类模型，所用数据为来自六个国家的 12 个数据集：七个公开基准和来自中国、日本和德国的五个机构队列。模型涵盖卷积网络、视觉语言模型、一个问答基础模型以及一个改用途的编码器。仅评估图像级分类；分割、检测和报告生成不在范围内。源标签被统一到共同词表。主要结局为 95% 灵敏度下的特异度；95% 灵敏度下的 PPV 和 AUROC 为次要结局。估计值对每个诊断任务等权加权，并给出 95% CI。MAVL 和 MedKLIP 在 95% 灵敏度下具有最高的总体特异度（0.37 [95% CI 0.31-0.44] 和 0.37 [0.30-0.44]），并在所有模型均可评估的任务上保持该排名。其 PPV 分别为 0.18（0.13-0.24）和 0.19（0.13-0.25）：大多数被标记的检查将是假阳性。对大多数模型而言，机构队列上的特异度低于公开基准，MAVL 低 0.13，DenseNet 低 0.15，MedKLIP 低 0.09。没有模型在每种表现、国家、病灶范围或患病率分层上都是最佳；特异度从弥漫性表现的 0.34 降至局灶性表现的 0.15。在 95% 灵敏度下，当前最佳模型仅能排除约三分之一的真阴性检查，而公开基准性能高估了它们在未见机构数据上的表现。部署前应先进行工作点感知评估和在机构队列上的外部验证。

评论：	v2：大幅修订并扩展（来自六个国家的 12 个数据集、10 个模型、24 位作者）；主要结局现为 95% 灵敏度下的特异度。34 页，5 幅图，2 张表，另有附录（5 张表，1 幅图）。v1：78 页，7 幅图，2 张表
主题：	图像与视频处理（eess.IV）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）
ACM 分类：	I.2
引用为：	arXiv:2505.16027 [eess.IV]
	（或本版本的 arXiv:2505.16027v2 [eess.IV]）
	https://doi.org/10.48550/arXiv.2505.16027 由 DataCite 颁发的 arXiv DOI

提交历史

发件人：Yiheng Li [查看邮件]
[v1] 2025年5月21日星期三 21:16:50 UTC（23,758 KB）
[v2] 2026年10月24日星期六 02:43:58 UTC（946 KB）