arXiv cs.CL· Daniela Jimenez-Pano, Hugo Jair Escalante, Delia Iraz\'u Hern\'andez-Far\'ias·· 11 小时前AI 评分22
基于门控多模态表示的 RAG 医疗视觉问答增强方法
Enhancing RAG-based Medical VQA with Gated Multimodal Representations
AI 导读
研究者提出一种多模态 RAG 框架，通过 Gated Multimodal Unit 学习联合查询表示，让证据检索同时利用医学图像与临床问题的语义，且保持底层 Med-LVLM 冻结。在基准数据集上，该多模态查询表示持续优于参考 Med-LVLM，并与 SOTA 方法保持竞争力。
正文 · AI 翻译
摘要：医学视觉语言模型（Med-LVLMs）在医学视觉问答（MVQA）中表现出强劲性能，但仍可能产生与事实不符的回答。检索增强生成（RAG）可通过引入外部临床证据缓解这一问题；然而，检索往往由单一模态引导，可能忽略医学图像与临床问题的联合语义。我们提出一种多模态 RAG 框架，通过门控多模态单元学习联合查询表示，使证据检索能够同时利用两种模态的信息，同时保持底层 Med-LVLM 冻结。我们在基准数据集上评估了所提方法。结果表明，多模态查询表示始终优于参考 Med-LVLM，并与最先进方法保持竞争力。我们的发现展示了多模态查询表示在医学 VQA 中实现更有效证据检索的潜力。
| 评论： | 预印本提交至 ECIR |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23588 [cs.CV] |
| （或 arXiv:2610.23588v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23588 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hugo Jair Escalante [查看电子邮件]
[v1]
2026年10月16日星期五 15:07:33 UTC（3,750 KB）
来源：arXiv cs.CL · arxiv.org