arXiv cs.AI· Bruce Changlong Xu, Jose K. James, Alexander J. Ryu·· 12 小时前AI 评分31
从理论到决策规则：在三个医学影像基准上校准视觉语言模型弱监督的噪声标签交叉点
From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks
AI 导读
研究在 PatchCamelyon、ISIC 2019 和 NIH ChestX-ray14 三个医学影像基准上，用 BiomedCLIP 与 PubMedCLIP 生成的伪标签配合 8M–89M 参数的六种学生架构。
正文 · AI 翻译
摘要：在医学影像中，少量专家标注通常与来自视觉语言模型（VLM）的零样本伪标签结合使用。当专家标注集非常小时，额外的伪标签会降低方差并提升准确率。然而，一旦仅用专家标注训练的分类器达到弱标注器的准确率，再加入伪标签就会降低测试性能。我们在 PatchCamelyon 组织病理学、ISIC 2019 皮肤镜和 NIH ChestX-ray14 放射影像上，使用来自 BiomedCLIP 和 PubMedCLIP 的伪标签，跨六种学生架构（$8\mathrm{M}$ 至 $89\mathrm{M}$ 参数）测量了这一交叉点出现的位置。在 ISIC 2019 上，弱标签在超过 $20$--$50$ 个专家标注后不再有帮助；在 PatchCamelyon 上约为 $100$ 个；在 NIH ChestX-ray14 上为 $250$--$500$ 个。超过这些预算后，加入 $10{,}000$ 个伪标签会使测试宏平均 AUC 在 ISIC 2019 上使用 BiomedCLIP 时最多下降 $0.14$ 个点（使用 PubMedCLIP 时为 $0.23$），在 PatchCamelyon 上下降 $0.10$，在 NIH ChestX-ray14 上下降 $0.08$。在六种学生架构中，弱标签上限保持在 $0.024$ 的 AUC 范围内（$0.841$--$0.865$），表明限制性能的是 VLM 标注器而非学生模型规模。在相同错误率下将 VLM 伪标签与随机标签翻转进行比较，结果显示系统性 VLM 错误在 PatchCamelyon 和 ISIC 2019 上比随机噪声的 AUC 低 $0.09$--$0.20$，但在 15 类的 NIH ChestX-ray14 上 AUC 高 $0.03$--$0.04$，其中各发现的交叉点跨度也超过 $20\times$ 的范围。一个根据弱标注器验证准确率和少量仅专家运行估计的简单偏差-方差规则，在所有 $30$ 个统计显著设置（总体 $39/42$）中预测了伪标签是有益还是有害。
| 评论： | 25 页，3 幅图，12 张表。已被 ICML 2026 理论与基准结合研讨会（CTB）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.24771 [cs.CV] |
| （或 arXiv:2605.24771v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.24771 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bruce Xu [查看邮箱]
[v1]
2026年5月23日星期六 23:15:07 UTC（103 KB）
[v2]
2026年10月20日星期二 22:48:22 UTC（134 KB）
来源：arXiv cs.AI · arxiv.org