arXiv cs.CL· Reza Khanmohammadi, Kundan Thind, Mohammad M. Ghassemi·· 12 小时前AI 评分31
适应还是校准？局部标签如何在医疗 VQA 中换取可认证覆盖率
Adapt or Calibrate? How Local Labels Buy Certified Coverage in Medical VQA
AI 导读
研究在 Learn-then-Test 框架下考察局部标签能为九个置信度估计器在五个开源 VLM 和三个医疗 VQA 基准上认证什么。自然图像训练的估计器迁移效果差，最佳合并证书在 20% 误差容忍下仅覆盖 11.5% 的 SLAKE 答案，PATH-VQA 上为零。
正文 · AI 翻译
摘要：视觉语言模型（VLM）对医学图像问题的回答，只有在接受答案的误差被一个阈值界定之后，才能不经审核直接采纳，而证明该误差界需要本地标签。我们研究在 Learn-then-Test 框架下，以问题为可交换单元，这类标签能为九个置信度估计器在五个通用开放权重 VLM 和三个医学 VQA 基准上证明什么。在自然图像上训练的估计器迁移效果很差：最佳合并证书在 20% 误差容限下覆盖 SLAKE 答案的 11.5%，在 PATH-VQA 上则毫无覆盖。使用 1,000 个带标签的 SLAKE 问题，在其中一半上适配一个探针，可将合并认证覆盖率从 6.8% 提升到 37.6%（以图像为单元时从 0.0% 提升到 30.6%），高于最佳仅阈值估计器的 11.3%。在 PATH-VQA 上，适配在 2,500 个标签下认证 11.4%；仅用阈值则什么都认证不了。然而对于强单一模型，小预算更适合花在阈值上。仅问题分类器能恢复适配的大部分排序增益，但认证的覆盖率远低得多。两种流程都无法在 10% 下给出合并证书，在 5% 下则什么都认证不了。空白图像会移除 61% 的正确回答，但在 GMAI-MMBench 上，没有任何训练过的探针对图像替换后未改变的答案表现出更低的置信度。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.15910 [cs.CL] |
| （或 arXiv:2606.15910v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.15910 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Reza Khanmohammadi [查看邮箱]
[v1]
2026年6月14日周日 16:39:17 UTC（138 KB）
[v2]
2026年8月20日周四 05:21:27 UTC（137 KB）
[v3]
2026年10月23日周五 18:14:26 UTC（93 KB）
来源：arXiv cs.CL · arxiv.org