医学视觉语言模型研究：判定稳定性与视觉依据无关
Conviction Without Evidence: Verdict Stability Is Independent of Visual Grounding in Medical Vision--Language Models
医学视觉语言模型在无图像时也能给出正确诊断，且其判定稳定性并不依赖视觉依据。在60道意大利国家考试题上，伪造共识（L4）在有真实图像时推翻94.4%的判定、无图像时推翻98.1%；无内容质疑（L1）则分别为62.5%和51.8%。模型在基线时能标记缺失图像（60题中35题），但这些弃答在压力下无法维持。
作者：Federico Felizzi、Francesco Andrea Causio、Bianca Destro Castaniti、Olivia Riccomi、Michele Ferramola、Vittorio De Vita、Alessandro Tosi、Antonio Cristiano、Alessia Longo、Lorenzo De Mori、Chiara Battipaglia、Melissa Sawaya、Luigi De Angelis、Marcello Di Pumpo、Alessandra Piscitelli、Pietro Eric Risuleo、Giulia Vojvodic、Mariapia Vassalli、Nicolo Scarsi、Manuel Del Medico
摘要：应用于医学问答的视觉--语言模型可以在不使用诊断图像的情况下得出正确诊断，转而从临床病例摘要中推断。我们追问这是否体现在模型对其答案的\emph{坚定}程度上：模型捍卫一个源自空白占位符的诊断，是否与捍卫一个源自真实医学图像的诊断同样顽强？将图像替换协议与两种水平的对抗压力交叉应用于 60 道意大利国家考试题目，我们未发现无依据判定更脆弱的证据。在配对的项目级分析中，虚构共识（L4）在真实图像条件下推翻了 94.4\% 的判定，在无图像条件下推翻了 98.1\%（$\Delta = +0.037$；单侧 95\% 上界 $+0.105$）；无内容质疑（L1）分别推翻了 62.5\% 和 51.8\%（$\Delta = -0.107$，95\% CI $[-0.209, -0.001]$），点估计方向与 grounding 检测器所需的方向相反。然而这两个水平产生了相反的\emph{动态}：在 L4 下模型翻转一次，总是转向所论证的确切选项（110/110 首轮翻转），随后冻结，十轮内平均 1.9 次判定变化；在 L1 下它从不稳定，平均 7.4 次变化。无内容质疑下的不稳定性追踪的是项目内在的模糊性而非证据可得性，因此不能作为 grounding 信号。翻转几乎完全是破坏性的（两个水平合计 99/100）。模型并非未意识到缺失的证据——它在基线时于 60 个项目中的 35 个上标记了空白图像，并在 4--6 个上弃答——然而这些弃答在压力接触下无法存续。用户可能合理咨询的任何认知信号，都无法区分有依据的诊断与虚构的诊断。
| 评论： | 已被 NeurIPS 2026 的 Med-Reasoner 研讨会接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34520 [cs.CV] |
| （或 arXiv:2610.34520v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34520 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Federico Felizzi [查看邮箱]
[v1]
2026 年 10 月 25 日周日 19:23:29 UTC（43 KB）
来源：arXiv cs.AI · arxiv.org