arXiv cs.CL· Mohamed Hamdy, Iheb Zouari, Fatmaelzahraa Ahmed, Muraam Abdel-Ghani, Muhammed Arsalan, Ponnuthurai Suganthan, Khalid Al-Jalham, Abdulaziz Al-Ali, Shidin Balakrishnan·· 14 小时前AI 评分20
MIS-VQA：面向复杂手术理解的标注驱动手术视觉语言数据集
MIS-VQA: An Annotation-Driven Surgical Vision-Language Dataset for Complex Surgical Understanding
AI 导读
MIS-VQA 是一个标注驱动的手术视觉语言数据集，将 EndoVis18 和 CholecT50 的阶段、器械、交互、三元组与分割标签转换为结构化文本场景表示，再由大语言模型生成临床连贯的问答对。
正文 · AI 翻译
摘要：现代手术 AI 日益需要多模态理解，而非孤立的感知，然而现有数据集在很大程度上仍局限于单任务监督，例如识别或模板化问答。当前的医学 VQA 资源往往依赖合成模板，缺乏自然的描述性监督，或提供的标注稀疏，阻碍了对空间关系和手术流程上下文的推理。我们提出 MIS-VQA，这是一个通过标注驱动流程生成的手术视觉-语言数据集，该流程将异构的手术标注转换为结构化的文本场景表示。我们使用 EndoVis18 和 CholecT50，将阶段、器械、交互、三元组和分割标签转换为统一上下文，以引导大语言模型生成临床连贯的问答对。MIS-VQA 支持四种响应类型——简洁描述和详细描述、感知级定位以及多步推理——从而实现从原子视觉定位到组合推理的分层评估。为解决标注稀疏问题，我们引入了置信度过滤分割和跨标注一致性检查，从而支持大规模的空间定位监督。MIS-VQA 为手术视觉-语言理解建立了一个统一基准，具备空间监督和多层级推理评估。为展示其实用性，我们推出了 LLaVA-SurgXpert，这是一系列带有视觉编码器的手术视觉-语言模型，用于分析视觉表示如何影响多模态推理。实验表明，相较于现有手术 VQA 基线，其性能持续提升，同时揭示了此前基准中隐藏的感知定位与更高层推理之间的能力差距。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34210 [cs.CV] |
| （或 arXiv:2610.34210v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34210 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shidin Balakrishnan [查看电子邮件]
[v1]
2026年10月25日星期日 10:56:26 UTC（2,638 KB）
来源：arXiv cs.CL · arxiv.org