arXiv cs.CL· Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn·· 6 天前AI 评分30
医学基础模型在标签监督下收敛性更低
Medical foundation models converge less under label supervision
AI 导读
研究用超 75 万张图像、14 个数据集、5 种成像模态及 101 个胸片与组织病理模型测试医学基础模型的表征一致性，发现两个公开模型对胸片 10 个最近邻的平均共享比例仅 0.091，随机初始化网络为 0.036。
正文 · AI 翻译
摘要：诊断分类器和影像生物标志物是在医学基础模型的嵌入上拟合的。随着新版本的出现，这些模型会被替换。这种做法假设不同模型对图像的表示方式相似。我们用来自 5 种成像模态、14 个数据集的超过 750,000 张图像，18 个公开模型，以及 101 个在胸部 X 线片和组织病理学上训练的模型（它们在预训练目标、标签类型、规模、随机种子、初始化、训练患者或训练配方上各不相同）检验了这一假设。一致性以互 k 近邻重叠度衡量，即一张图像的最近邻中为两个模型所共有的比例。两个公开模型平均共享一张胸部 X 线片 10 个最近邻中的 0.091 个。一个随机初始化的网络与它们共享 0.036 个。在另外四种模态中，它们最多共享 0.300 个。在胸部 X 线片上，一致性更多取决于源数据集和摄影体位，而非所见的病变。它与准确率没有显著关联。在 4,096 张无标签胸部 X 线片上拟合的两个模型嵌入之间的线性映射，迁移了 14 项胸部病变的分类器，其受试者工作特征曲线下面积达到原始值的 0.987。收敛性取决于预训练目标。在胸部 X 线片和组织病理学中，标签监督模型在两种模型规模下收敛最少。在胸部 X 线片上，两个仅随机种子不同的标签监督模型共享其最近邻的 0.062 至 0.100 个。两个分别用自蒸馏、掩码图像建模或对比预训练训练的模型共享 0.411 至 0.802 个。因此，开发者在选择预训练目标时就可以选择收敛性。在替换模型之前，用户可以在无标签图像上测试其后继模型是否返回相同的最近邻。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.20274 [cs.CV] |
| （或 arXiv:2607.20274v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.20274 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Soroosh Tayebi Arasteh [查看邮箱]
[v1]
2026 年 7 月 22 日星期三 15:25:05 UTC（585 KB）
[v2]
2026 年 10 月 2 日星期五 15:21:00 UTC（2,275 KB）
[v3]
2026 年 10 月 9 日星期五 12:36:46 UTC（2,276 KB）
来源：arXiv cs.CL · arxiv.org