arXiv cs.CL· Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Shuo Cai, Yang Yu, Yuanyi Wang, Yanggan Gu, Congkai Xie, Jianmin Wu, Hongxia Yang·· 10 天前AI 评分35
InfiMed2：基于上下文证据与稳定性感知监督的通用医学多模态基础模型
InfiMed2: A Generalist Medical Multimodal Foundation Model from Contextual Evidence and Stability-Aware Supervision
AI 导读
InfiMed2 是一个 4B 和 27B 的通用医学多模态基础模型系列，基于 55.68B token 语料和阶段感知数据设计构建。其 CPT 流程先适配视觉编码器、再建立广泛医学知识、最后在学习率衰减阶段转向证据聚焦数据混合；SFT 阶段通过答案稳定性、答案掩码重建和正确性约束筛选重新生成视觉问答回复。
正文 · AI 翻译
作者：Guanghao Zhu、Zeyu Liu、Zhitian Hou、Pengkai Wang、Zhijie Sang、Shuo Cai、Yang Yu、Yuanyi Wang、Yanggan Gu、Congkai Xie、Jianmin Wu、Hongxia Yang
摘要：近期的医学多模态模型受益于更大的语料库、更广的模态覆盖以及更强的面向推理的训练，但在持续预训练（CPT）和后训练阶段进行有效的数据设计仍然具有挑战性。医学来源在结构、粒度和信息密度上差异很大，其效用会随着训练从广泛知识获取推进到后期巩固而发生变化。与此同时，后训练通常由短形式的视觉问答主导，为信息丰富且与答案一致的解释提供的监督有限。我们提出 InfiMed2，这是一个围绕阶段感知数据设计构建的 4B 和 27B 通用医学多模态基础模型系列。我们通过针对来源的特定处理，整理了一个 55.68B token 的语料库，将广泛的临床知识与上下文丰富的生物医学视觉证据相结合。我们的 CPT 流程首先适配视觉编码器，然后构建广泛的医学知识，最后在学习率衰减期间过渡到以证据为重点的数据混合。对于监督微调（SFT），我们使用答案稳定性、答案掩码重建和正确性约束选择来重新生成视觉问答回复，以产生信息更丰富且与答案一致的监督。4B 模型进一步通过可验证奖励的强化学习（RLVR）进行优化。在五个医学多模态基准上，InfiMed2-4B 在 RLVR 后达到 66.73% 的平均准确率，超过了更大的 Qwen3.5-9B，而 InfiMed2-27B 达到 73.72%，在评估的开源权重模型中最高。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2609.34798 [cs.CL] |
| （或 arXiv:2609.34798v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.34798 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Guanghao Zhu [查看电子邮件]
[v1]
2026年9月28日星期一 10:01:35 UTC（1,334 KB）
[v2]
2026年10月7日星期三 03:24:07 UTC（1,334 KB）
来源：arXiv cs.CL · arxiv.org