arXiv cs.CL· Hangjie Yuan, Yichen Qian, Zhiwei Tang, Xianzhe Xu, Sicheng Yang, Lirong Wu, Jinwang Wang, Pengju Wang, Zhitao Zeng, Yizeng Han, Yan Xing, Shengxuan Luo, Tao Feng, Qing Xie, Weigen Yao, Yi Yang, Zuozhu Liu, Jiasheng Tang, Shaocheng Wang, Jitao Wang, Jiahong Dong, Weihua Chen, Feng Xu, Fan Wang·· 11 小时前AI 评分50
ClinFusion：面向整体医学理解的以视觉为中心的多模态 LLM 系统
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
AI 导读
ClinFusion 是一个以视觉为中心的多模态 LLM 系统，通过级联空间感知局部融合算子统一 2D 与原生 3D 医学图像理解，并配套 MedIF-Bench 指令遵循评测与基于感兴趣区域的报告生成评测框架。
正文 · AI 翻译
作者：Hangjie Yuan、Yichen Qian、Zhiwei Tang、Xianzhe Xu、Sicheng Yang、Lirong Wu、Jinwang Wang、Pengju Wang、Zhitao Zeng、Yizeng Han、Yan Xing、Shengxuan Luo、Tao Feng、Qing Xie、Weigen Yao、Yi Yang、Zuozhu Liu、Jiasheng Tang、Shaocheng Wang、Jitao Wang、Jiahong Dong、Weihua Chen、Feng Xu、Fan Wang
摘要：多模态大语言模型（MLLMs）在革新临床实践方面具有巨大潜力，但将其部署到医学领域本质上是一项以视觉为中心的挑战：模型必须从异构的 2D 和 3D 医学图像中吸收知识，评估协议必须与放射科医生的临床实践保持一致，并提供准确、细粒度且以事实性为驱动的评估。本文提出 ClinFusion，一个以视觉为中心、面向整体医学理解的 MLLM，系统性地解决了上述局限。我们提出一种组合式级联视觉编码器架构，其中包含级联空间感知局部性融合算子，可在融合编码器内统一理解多样化的 2D 和原生 3D 医学图像。我们进一步引入一个基于视觉的评估框架，包括用于指令遵循评估的 MedIF-Bench，以及一种基于感兴趣区域的、与临床对齐且以事实性为驱动的报告生成评估方法。我们表明，ClinFusion 在涵盖视觉问答、报告生成和指令遵循的全面 2D 与 3D 多模态医学基准套件以及文本医学任务上均创下新的最先进水平，在 24 个基准中的 20 个上优于领先的开源医学 MLLM（\textit{例如}，Hulu-Med、Lingshu），并在 16 个基准中的 13 个上展现出优于 GPT-5.2 和 Gemini-3-Flash 等强大专有模型的多模态能力，还可通过智能体工具使用进一步增强，以支持检索增强和工具辅助的临床工作流。由委员会认证放射科医生进行的盲评确认，ClinFusion 生成的报告排名最高，并验证了我们的 RoI 基准指标在所考察的所有自动评估指标中与专家判断的相关性最强。
| 评论： | 代码：this https URL 模型：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.24743 [cs.CV] |
| （或 arXiv:2607.24743v3 [cs.CV] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2607.24743 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Hangjie Yuan [查看邮箱]
[v1]
2026年7月27日 星期一 17:59:49 UTC（2,968 KB）
[v2]
2026年7月28日 星期二 10:52:57 UTC（2,960 KB）
[v3]
2026年11月1日 星期日 09:43:48 UTC（2,960 KB）
来源：arXiv cs.CL · arxiv.org