arXiv cs.AI· Jinrui Wu, Yun Peng·· 10 小时前AI 评分29
ProtoBridge-CLIP:用观察掩码发现原型做医学图像—报告表征学习
ProtoBridge-CLIP: Observation-Masked Finding Prototypes for Medical Image--Report Representation Learning
AI 导读
ProtoBridge-CLIP 将对称的全局图像—报告对齐与观察掩码的发现监督、报告已确认概念的软关系目标结合,把文本衍生的发现原型与局部视觉 token 对齐,并将不确定和未提及概念排除在直接发现标签之外。
正文 · AI 翻译
摘要:放射学报告区分了确认的发现、明确的否定和未提及的概念,但传统的全局图像—报告对比学习往往将这些不同的证据状态压缩为单一的研究级目标。我们提出 \model{},它将对称的全局图像—报告对齐与观察掩码的发现监督以及对确认报告概念的软关系目标相结合。从文本导出的发现原型与局部视觉 token 对齐,而不确定和未提及的概念被排除在直接发现标签之外。我们在三个 CT 基准和五个胸部 X 射线基准上评估该框架,并进行了组件消融、配对与临床检索、定位、扰动鲁棒性、校准和逐发现分析。\model{} 在 CT-RATE、RAD-ChestCT 和 INSPECT 上分别达到 73.6%、66.5\% 和 68.8% 的 macro-AUROC 值,在 ChestXray14、CheXpert、PadChest、RSNA 和 SIIM-ACR 上分别达到 80.2%、91.4%、78.5%、86.5% 和 90.8%。相对于匹配的仅全局对照,发现目标和关系目标在所有评估数据集上均带来一致的增益。这些结果证明了在医学图像—文本表示学习中对已观察和未观察的报告概念区别对待的实际价值。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24002 [cs.CV] |
| (或 arXiv:2611.24002v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24002 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Peng Yun [查看电子邮件]
[v1]
2026年11月18日星期三 07:52:57 UTC(139 KB)
来源:arXiv cs.AI · arxiv.org