arXiv cs.AI· Qiaoru Li, Shaotian Liang, Jintao Chen, Haoran Sun, Yuxiang Cai, Jianwei Yin, Yankai Jiang·· 6 天前AI 评分27
VITAL：面向医疗 MLLM 的视觉-语义双重监督潜在推理框架
VITAL: Visual-Semantic Dual Supervision for Enhanced and Interpretable Latent Reasoning in Medical MLLMs
AI 导读
VITAL 是一个面向医疗 MLLM 的潜在空间推理框架，通过辅助文本解码器从潜在状态重建推理链、视觉投影器从冻结的独立医学视觉编码器回归 ROI 特征，实现视觉-语义双重监督。
正文 · AI 翻译
摘要：潜在推理使得能够在连续隐藏状态而非显式 token 上进行推理，从而避免了医学 VQA 中思维链的语言瓶颈和推理开销。然而，现有方法存在模态坍缩、视觉监督不足以及训练-推理不匹配的问题。此外，其不透明的潜在状态无法提供可解释性，而这在临床应用中至关重要。我们提出 VITAL，一种面向医学 MLLM 的潜在空间推理框架，具有视觉-语义双重监督：辅助文本解码器从潜在状态重建推理链，而视觉投影器则从冻结的独立医学视觉编码器回归 ROI 特征。两个模块在推理时均被丢弃，零开销，但可在事后重新附加以实现双重可解释性，在不牺牲效率的情况下提供推理过程的文本和视觉解释。我们构建了一个涵盖 9 种成像模态的 61K 数据集，比此前的医学视觉潜在推理数据集大一个数量级。在 7 个基准上的实验表明，VITAL 持续且显著优于骨干模型、所有潜在推理基线以及在更大规模数据上训练的医学 MLLM，取得了与万亿参数专有模型相媲美的最先进结果。
| 评论： | EMNLP 2026 Oral |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2605.28422 [cs.CV] |
| （或 arXiv:2605.28422v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.28422 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Qiaoru Li [查看邮箱]
[v1]
2026年5月27日星期三 12:53:13 UTC (10,653 KB)
[v2]
2026年10月9日星期五 10:05:37 UTC (13,462 KB)
来源：arXiv cs.AI · arxiv.org