arXiv cs.CL· Edric Castel C. Hao, Rez Samantha Z. Floresca·· 11 小时前AI 评分34
医疗 VLM 在渐进式证据缺失下的“行为海市蜃楼”：MedGemma 越过证据边界仍持续作答
Beyond the Evidence Boundary: Behavioral Mirage Under Progressive Degradation in Medical VLMs
AI 导读
研究提出基线锚定框架，追踪基线答对的病例在图像渐进退化下何时越过经验证据边界，并将边界处仍坚持作答（无论对错）定义为“海市蜃楼”。三个医疗数据集上的三款 VLM 中仅 MedGemma 基线正确样本量足够做轨迹分析，其边界后行为包括直接海市蜃楼、正确恢复、海市蜃楼消解、持续拒答与振荡，各数据集-模态组合的海市蜃楼率为 16.0% 至 100.0%。
正文 · AI 翻译
摘要：用于医学图像解读的 VLM 通常在干净输入上进行评估，尽管在高风险临床环境中可能发生渐进式证据丢失。现有的鲁棒性研究表明，性能可能下降而置信度仍保持高位，但并未确定一个先前可靠的模型-案例对何时开始表现不可靠。我们引入了一个以基线为锚的框架，通过渐进式图像退化追踪基线正确的案例，以识别经验证据边界，并将“海市蜃楼”定义为在此边界上持续坚持，无论正确与否。在三个医学数据集上的三个 VLM 中，只有 MedGemma 提供了足够大的基线正确池用于轨迹分析。在 VQA-RAD（唯一问题文本会变化的数据集）上，仅语言可回答性与基线正确性相关（AUROC 0.677），并与边界处的坚持相关（AUROC 0.653 至 0.670）。MedGemma 的边界后行为是异质的，包括直接海市蜃楼、正确恢复、海市蜃楼消解、一致弃答和振荡，跨数据集-模态对的海市蜃楼率为 16.0% 至 100.0%。尽管存在这种行为异质性，残差流探针在嵌套交叉验证下以 0.895 至 0.994 的 AUROC 解码边界处的坚持与弃答行为。这些结果表明，渐进式证据丢失可能产生持续坚持，而输出熵和弃答行为并不能一致地反映这一点，这促使针对在部分观察下运行的可靠医学基础模型进行边界感知评估、选项顺序控制和改进的弃答机制。
| 评论： | 被 NeurIPS 2026 WMHS Workshop 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；计算与语言 (cs.CL) |
| ACM 分类： | I.4.9; I.2.7; J.3 |
| 引用为： | arXiv:2610.28000 [cs.CV] |
| （或 arXiv:2610.28000v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28000 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Edric Castel Hao [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 10:45:40 UTC（2,071 KB）
来源：arXiv cs.CL · arxiv.org