跳到正文
arXiv cs.AI· Yipeng Sun, Jiajun Wang, Siyuan Mei, Yan Xia, Siming Bayer, Vincent Christlein, Andreas Maier·· 4 小时前AI 评分34

跨模态对齐的关键因素:LightAlign 用少量图文对实现医学影像对齐

What Matters for Cross-Modal Alignment

AI 导读

研究在自然图像、环境音频、胸部X光片和3D CT四种模态上测试零配对对齐,仅COCO成功,其余四个数据集均失败,原因是模态共变子空间方差占比过小。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:柏拉图表示假说认为,在不同模态上训练的模型会收敛到一种共享表示。相关工作在没有配对数据的情况下,将冻结的图像编码器和文本编码器在自然图像上对齐。我们在涵盖四种模态的五个数据集上测试了零配对对齐:自然图像、环境音频、胸部X光片和三维计算机断层扫描(CT)。它仅在 COCO 上成功,在其他四个数据集上均失败。我们分析了失败原因,发现对齐必须首先定位模态共同变化的子空间,然后在该子空间内确定映射的方向。与先前研究一致,医学影像是最困难的情形:其共享子空间所承载的方差比例最小。当该比例很小时,对齐需要图文配对,而随机矩阵理论可预测需要多少对。这些发现促成了 LightAlign:少量配对即可让两个冻结编码器之间的岭回归同时定位并确定映射方向,随后仅在报告文本上拟合的分类器即可从映射后的图像预测所见。在三维 CT 上,LightAlign 超越了在图像-报告配对数据上端到端训练且未使用所见级标签的模型:仅用 200 对,LightAlign 在 CT-RATE 上优于 CT-CLIP(AUROC 0.754 对 0.733);仅用 100 对 CT-RATE 数据,它就在来自另一家医院的分布外数据集 RAD-ChestCT 上取得同样优势。在 CheXpert 上,它仅用约相当于在 MIMIC-CXR 上训练的模型 5% 的配对数,就达到了 0.862 的平均 AUROC。
评论: 代码:此 https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.20000 [cs.CV]
  (或 arXiv:2611.20000v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.20000

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yipeng Sun [查看邮箱]
[v1] 2026年11月15日周日 13:18:52 UTC(5,356 KB)
[v2] 2026年11月17日周二 08:04:00 UTC(5,357 KB)

来源:arXiv cs.AI · arxiv.org