arXiv cs.AI· Oishi Banerjee, Eujin Lee, Sung Eun Kim, Alexandra N. Willauer, Christine Y. Zhou, Zhizhou Yang, Pranav Rajpurkar·· 10 小时前AI 评分38
Trick-or-Treat：用合成图像对抗性评估多模态医学推理
Trick-or-Treat: Adversarial Evaluation of Multimodal Medical Reasoning with Synthetic Images
AI 导读
研究者提出 Trick-or-Treat，一个将真实胸部 X 光片与合成临床照片配对的对抗性多模态医学基准，用于暴露前沿模型的幻觉行为。在三个前沿模型的测试中，面对不匹配图像对时模型幻觉出临床显著照片发现的比例达 45-57.5%，高于同一照片单独呈现时的 25-37.5%。模型倾向忽略不匹配，反而幻觉出更贴合 X 光片的发现以自圆诊断。
正文 · AI 翻译
摘要：我们利用医学图像合成构建了一个具有挑战性的多模态评估框架，用以揭示前沿模型中的幻觉行为。多模态推理的评估历来困难，因为现有医学数据集很少将不同图像模态配对，例如放射影像与外部临床照片。为填补这一空白，我们提出了 Trick-or-Treat，一个对抗性多模态医学基准，将真实胸部放射影像与合成临床照片配对，以挑战模型的跨模态推理能力。针对多种疾病，我们为每种疾病创建了两对图像，每对图像共享同一张胸部放射影像，但包含不同的外部照片。在匹配对中，胸部放射影像和照片均包含提示同一疾病的征象（例如，肺部阴影和见于水痘的结痂性皮肤病变提示水痘肺炎）。在不匹配对中，照片描绘的是另一种不会导致同一统一诊断的临床征象（例如，将结痂性皮肤病变替换为普通痤疮）。合成照片生成允许在保持人物特征和拍摄环境一致的同时改变临床征象，从而减少混杂因素。在对三个前沿模型的调查中，我们发现模型在 45-57.5% 的不匹配对中幻觉出具有临床意义的照片征象，而相同照片单独呈现时这一比例为 25-37.5%。面对不匹配对时，模型倾向于忽略不匹配，转而幻觉出与放射影像更相符的征象（例如，将痤疮误读为结痂性皮肤病变，以证明水痘诊断的合理性）。Trick-or-Treat 既展示了前沿模型医学推理中令人担忧的错误模式，也为在对抗性多模态评估中使用合成图像提供了概念验证。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06631 [cs.CV] |
| （或 arXiv:2611.06631v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06631 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oishi Banerjee [查看邮箱]
[v1]
2026年11月4日星期三 15:13:35 UTC（17,708 KB）
来源：arXiv cs.AI · arxiv.org