跳到正文
Hacker News· bookofjoe·· 9 天前AI 评分62

Google 发布医疗视觉语言模型 MedGemma 与 MedSigLIP

An open vision-language model for diverse medical applications

AI 导读

Google 在 Nature 发表论文，推出基于 Gemma 3 的医疗视觉语言模型 MedGemma，包含 4B、27B 两个多模态变体和 27B Text 纯文本变体，并配套 4 亿参数的医疗图像编码器 MedSigLIP。

正文 · AI 翻译

译文尚不完整，完整内容请切换到原文。

Main

现代医疗保健领域的特点是生成和使用前所未有的海量且多样化的数据。诊断、治疗和监测依赖于将许多不同的数据来源和医学专科之间的信息联系起来。最近开发的大型多模态模型——在庞大且多样化的数据集上训练的先进人工智能（AI）系统——在检测复杂模式、生成连贯文本和处理视觉信息方面展现出卓越的能力1,2,3。这些能力标志着AI在协助当前医疗保健工作流程和提取新见解方面可能发生范式转变。

虽然通用（未经医学调优）大型多模态模型展现出令人印象深刻的广泛能力，但通用模型可能缺乏以稳健方式解读和推理医学数据所需的细致医学理解4,5,6。认识到这一差距，我们开发了MedGemma，一组经过医学调优的视觉-语言基础模型。MedGemma模型建立在Gemma 3（参考文献7）的稳健架构之上，旨在解读和推理医学图像与文本，同时保留Gemma 3强大的通用能力。

MedGemma

我们将MedGemma开发为三个模型变体的集合，非常适合各种实际下游应用（图1）。具体而言，这些包括两个多模态变体，MedGemma 4B和MedGemma 27B（分别为40亿和270亿参数模型），它们可以接受文本、图像或两者作为输入，以及MedGemma 27B Text，它针对文本输入进行了优化。多模态MedGemma变体在视觉问答（VQA）基准测试中展现出强劲性能，尽管规模小得多，但达到了与Med-Gemini8,9等先前模型以及Gemini 2.5等更大前沿模型相似或超越的性能。MedGemma在基准任务中还展现出显著的规模-性能效率，包括MedQA10、MedMCQA11、PubMedQA12、MMLU Med13、AfriMed-QA14和AgentClinic15，在我们的分析中优于类似规模的开源模型。

图1：MedGemma模型概述。

MedGemma模型集合包含MedSigLIP图像编码器（4亿参数）、MedGemma 4B（40亿参数，多模态）、MedGemma 27B（270亿参数，多模态）和MedGemma 27B Text（270亿参数，仅文本）。各模型用于领域特定训练的模式由左侧数据类型连接到右侧模型的线条表示。EHR，电子健康记录。

在文本和医学成像任务中均取得强劲基准测试结果，这表明MedGemma具有很高的潜力，可以使用单一基础模型高效地调优和适应各种医学AI研究与开发工作。此外，MedGemma经过优化以保留Gemma 3的通用语言能力，进一步为开发提供了特别灵活且稳健的起点。

MedGemma 集成了一个专门的 400 万参数医学图像编码器 MedSigLIP，专为医学影像训练。为了提升编码器在医学影像方面的能力，我们使用数百万医学图像–文本对微调了 Gemma 3 中的视觉编码器（SigLIP-400M）7。这些训练数据在扩展数据表 1 中描述。MedSigLIP 正是为 MedGemma 的图像解读能力提供支持的同一编码器。单独使用时，MedSigLIP 可实现数据高效和零样本的图像分类与检索，其性能与专门的图像编码器相当或更优（总结于补充说明——MedSigLIP 结果）。

值得注意的是，这些结果仅代表基线能力，这些模型的开放性旨在让全球研究人员能够继续针对特定需求改进它们。在这方面，我们还提供了针对胸部 X 光片（CXR）、组织病理学、皮肤病学和电子健康记录问答进行微调的示例。

结果

MedGemma 在医学文本和影像基准上的表现

MedGemma 的性能在多个医学文本和医学影像基准上进行了评估（表 1），包括分布内基准（其中一部分数据用于训练或调优，并留出保留集用于评估）和分布外（OOD）基准（其中没有任何数据子集用于训练或调优）（请注意，对于通用基准，鉴于基础模型训练混合中使用了大量预训练数据，很难确定数据是否为 OOD）。总体而言，MedGemma 在多项基准任务上取得了超过或与规模大得多的非开放模型以及任务专用模型相当的准确率。以下各节概述了不同类别的性能，包括医学文本问答、医学图像分类、开放式临床推理、医学视觉问答、报告生成和智能体行为。相关模型变体包含在下面的结果表中，MedGemma 各变体的完整性能结果集见补充说明——额外训练数据详情。

表 1 MedGemma 评估数据集概览

完整尺寸表格

医学文本问答

在所有评估的纯文本生物医学问答任务中，MedGemma 表现出优于“基线”Gemma 3 模型的性能，并且在许多情况下与规模大得多的模型相比也具有竞争力（表 2）。结果中计算了置信区间的，见补充表 1。我们承认前沿模型通常仍优于较小的开放模型，但这些结果凸显了领域专业化的明显优势，并使 MedGemma 成为许多下游应用的有用起点。该评估基于 MedQA、MedMCQA、PubMedQA、MMLU 子集、AfriMed-QA 和 OOD MedXpertQA。值得注意的是，MedGemma 在 MedQA 上 86.2 的表现代表了其发布时开放模型的最佳表现，仅次于 6710 亿参数的 DeepSeek-R1 模型（91.0）16，并且远高于次之的有充分记录的开放模型 OpenBioLLM 70B（78.2）17。

表2 医学文本基准上的准确率

完整尺寸表格

MedGemma 的开放性也促成了额外的第三方评估。在医学文本问答方面，参考文献 18 中提供的分析进一步证明了 MedGemma 的医学领域训练相对于 Gemma 3 所带来的性能优势。一个显著差异是，在 MedHallu 基准评估19中，MedGemma 相对于 Gemma 3 的性能有所提升；该评估要求模型区分正确答案与听起来可行但实际错误的答案，以此作为更好地理解模型可靠性的一种方式。在 MedHallu 任务既定的“困难集”上，MedGemma 4B 得分为 0.50，Gemma 3 4B 得分为 0.09（归一化性能得分）。

医学图像分类

医学图像解读是多模态 MedGemma 模型的一项关键贡献。为了提供跨多种医学影像领域的性能洞察，我们在放射学、组织病理学、皮肤病学和眼科学中使用了基于图像的分类任务。选择这些领域是因为它们与 MedGemma 的训练数据和预期能力最为一致。（值得注意的是，与基于嵌入的任务特定分类器相比，将分类作为零样本生成任务处理可能无法提供最佳性能，但这些评估旨在提供对底层图像编码器质量与性能以及整体模型能力的洞察。）CXR、组织病理学、皮肤病学和视网膜图像分类的结果总结于表 3。值得注意的是，MedGemma 不仅相对于标准 Gemma 3 基线表现出显著优越的性能，而且还优于规模大得多的基于 API 的模型。

表3 零样本医学图像分类的准确率

完整尺寸表格

开放式医学问答与临床推理

为了进一步评估模型输出质量，对开放式医学内容问题的生成回答进行了评估。每个问题的模型回答由三名医生评分（更多细节见补充说明）。该分析表明，MedGemma 4B 相对于 Gemma 3 4B 在事实不准确回答方面相对减少了约 17%（Gemma 3 回答中 18.5% 被评为不准确，而 MedGemma 回答中为 15.4%；补充图 1）。虽然 MedGemma 不准确回答的减少表明医学专用模型具有优势，但此类评估会受到潜在的评分者间变异性和特定应用考量的影响，这凸显了针对具体用例进行微调和评估的重要性。

MedGemma 还能够参与开放式临床推理任务，这对于其规模的模型来说是一种相对独特的能力。我们使用开放式临床病例提示探索了这一能力，并通过临床专家评审检查了 MedGemma 的文本输出。总体而言，MedGemma 有效总结了场景的关键组成部分，并识别出相关的管理建议。这些任务的示例以及临床评论见补充说明——医学推理示例。

医学视觉问答

为了评估医学 VQA，我们使用了常被报告的基准 SLAKE20 和 VQA-RAD21。虽然用于评估这些基准的不同实现方式会使跨文献的直接比较变得困难，但我们尽可能报告 MedGemma 与若干其他模型的直接比较，作为展示其跨模态强大基线能力的一个组成部分。请注意，为避免 VQA-RAD 中的训练–测试污染，我们使用了参考文献 9,22 中描述的训练和测试划分。这些结果总结于扩展数据表 2。同样，MedGemma 优于标准 Gemma 3 模型，总体表现与规模大得多的基于 API 的模型相似。结果表中还使用可获得的已报告指标23,24纳入了 LLaVA-Med 和 BiomedGPT-B，需注意这些模型针对特定任务和数据集进行了监督微调（SFT）。除这些定量结果外，我们在图 2 中展示了若干开放式视觉问答的示例。

图 2：使用 MedGemma 4B 进行开放式多模态问答的示例。

图中展示了同时包含文本和图像的提示以及 MedGemma 4B 的回复。每个部分底部显示了美国委员会认证临床医生对回复的评估。X 射线图像来源于 NIH 临床中心（https://nihcc.app.box.com/v/ChestXray-NIHCC/folder/37178474737），转载自参考文献 54；皮肤科图像来源于皮肤状况图像网络数据集（https://github.com/google-research-datasets/scin），转载自参考文献 55；组织病理学图像来源于癌症基因组图谱56。

需要澄清的是，我们未将 MedGemma 与文献中使用判别式、基于嵌入的方法计算这些指标的专用模型进行比较。此类方法可能具有参考价值，但使用训练集来定义可能的文本答案集合，因而将任务表示为有限词汇的分类任务，而非开放式 VQA 任务。同样，虽然 LLaVA-Tri25 也报告了强劲的性能，但其针对这些指标所报告的方法学细节不足以支持直接比较。最后，其他若干模型在这些 VQA 基准上也报告了强劲性能，例如 HuatuoGPT-Vision26 和 PMC-Cambrian-8B-AN27，其准确率结果以开放和封闭问题的汇总形式报告。鉴于即使对于相同基准，比较指标也存在挑战，我们将 MedGemma 在这些 VQA 任务上报告的结果解读为展示其跨模态强大基线性能的重要组成部分。

CXR 报告生成

CXR 报告生成的性能结果如表 4 所示。这些结果基于 MIMIC-CXR 数据集和 RadGraph F1 指标28。MedGemma 4B 的预训练检查点表现出与其他顶级模型相似或更好的结果，这一点尤其值得注意，因为对比模型要么更大，要么仅专门针对此任务。这表明 Gemma 架构在适应复杂医疗用例并赋能 MedGemma 方面的多功能性。此外，专家人工评估表明，正常研究生成的报告中 68% 以及异常研究生成的报告中 49% 被评为等于或优于原始报告（扩展数据图 1）。这对应于 81% 的生成报告被评为可能产生与原始报告相同或更优的临床决策。这代表了优于更大的 Med-Gemini 模型的性能，后者 73% 的生成报告被评为产生与原始报告相同或更优的临床决策9。

表 4 在 MIMIC-CXR 数据集上的报告生成

全尺寸表格

同样，MedGemma 的开放性促成了第三方评估。具体而言，对于 CXR 报告生成，ReXrank 排行榜（ReXrank.ai）为 CXR 解读提供了跨多个模型、数据集和指标的标准化评估。值得注意的是，MedGemma 4B 在 ReXGradient 数据集30（GREEN 分数 0.566）和 IU-Xray 集31（GREEN 分数 0.724）上展示了最高的生成式放射学报告评估与错误标注（GREEN）分数29，在 MIMIC-III 和 CheXpert Plus 数据集上则处于排行榜中游。MedGemma 还在 ReXVQA 医学 VQA 评估32中展示了前三名的性能。（ReXrank.ai，访问于 2026 年 2 月 9 日）。虽然这些结果与 MedGemma 在 CXR 报告生成和 VQA 上的强大基线性能一致，包括在训练期间未见过的数据集上，但全面的 ReXrank 评估也显著表明，不同模型可以在不同指标和数据集上表现出色。因此，用户在选择模型进行进一步开发和验证时，可以考虑对其用例最重要的方面和指标。

CXR 解剖结构定位

尽管未针对此任务进行特定优化，但由于 MedGemma 27B 的训练数据中包含了解剖边界框，我们使用交并比（IoU）指标在 Chest ImaGenome 数据集33的测试集上评估了解剖结构的定位。研究结果包含在补充表 9 中供参考，MedGemma 27B 的 IoU 值为 0.16，基线 Gemma 3 27B 为 0.08，MedGemma 4B 为 0.03，Qwen3-VL 4B 为 0.09。这些结果表明，添加相关训练数据后，此任务的性能有所提高，但也表明此能力仍有很大的优化和改进空间。

医学智能体行为

为了初步了解 MedGemma 在单轮问答之外用例场景中的能力，我们还使用 AgentClinic 基准15在智能体角色中评估了 MedGemma。在该任务中，模型在模拟临床场景中充当“医生智能体”，执行诸如采集患者病史、解读检查结果以及在不确定条件下进行诊断以得出正确答案等任务。使用纯文本的 AgentClinic-MedQA 和 AgentClinic-MIMIC-IV 环境（患者智能体和测量使用 GPT 4o），MedGemma 27B 在 AgentClinic-MedQA 上超越了人类医生的表现，并在两个数据集上接近了规模大得多的模型的性能。结果总结于扩展数据表 3。值得注意的是，我们发现较小的 Gemma 3 4B 和 MedGemma 4B 模型不适合此任务，在 AgentClinic 智能体框架内难以遵循系统指令。

通用基准

鉴于许多医学专用模型在面对非医学任务时表现出的局限性和较差性能，而这些任务可能与医学应用紧密交织，我们评估了专业化可能带来的权衡。模型在包括 MMLU Pro、Global MMLU Lite 和 MMMU 数据集在内的通用语言模型基准上进行了评估，MedGemma 与 Gemma 3 变体之间的性能比较显示在扩展数据表 4 中。MedGemma 相对于相同规模的通用模型仅表现出轻微的性能下降，进一步表明其在需要专业化和通用化能力的下游应用（如指令遵循或多样化用户交互）中具有潜在实用性。

观察到的主题

我们的分析中出现了几个关键主题。虽然更大、计算成本更高的模型通常表现更好，但像 MedGemma 这样的医学专用模型在考虑到其规模小得多的情况下，表现出明显的性能-效率优势。这种规模-性能优势在医学视觉任务中尤为显著，MedGemma 在这些任务中超越了规模大得多的通用模型的性能。值得注意的是，MedGemma 4B 与最昂贵的对比模型之间存在 500 倍的计算成本差异，这是实际应用开发中的关键考虑因素，因为开发和计算使用都是限制条件。

我们还观察到，在较旧的、已建立的基准上的性能往往随着新模型的出现而提高。虽然这一观察反映了模型能力的真实进步，但也引发了测试数据泄露的可能性，因为这些基准是公开可用的，并经常用于模型开发和评估。

微调 MedGemma 可实现稳健的任务特定适应

虽然 MedGemma 模型取得了强大的基线性能，但这些模型旨在作为特定任务适应（例如，特定风格、特定分类任务或其他用户需求）的有用起点。

我们使用三个不同的数据集（此前未包含在 MedGemma 训练中）进行了微调实验，并分别以 MedGemma 4B 或 Gemma 3 4B 作为基础模型。结果如扩展数据图 2 所示，总体表明微调后性能有所提升，且 MedGemma 4B 的性能优于 Gemma 3 4B。当给定任务仅使用 10% 的可用数据时，MedGemma 的这一性能优势尤为显著，支持了 MedGemma 可作为数据高效微调的有用起点的观点。我们还注意到，对于 SIIM-ACR，Gemma 3 退化为预测多数类，而 MedGemma 避免了这种退化，可能至少部分归因于其在放射学数据上进行了预训练。虽然这些结果旨在展示使用常见 SFT 方法对分类任务进行微调的示例性比较，但具体的微调方法和提示工程可能受益于进一步的用例特定优化。

我们还对 MedGemma 4B 进行了强化学习（RL）微调，以展示在 CXR 报告生成这一同样包含在 MedGemma 训练中的任务上进一步优化的性能。所得微调模型在 MIMIC-CXR 上取得了 30.3 的 RadGraph F1 分数（针对发现加印象），代表了该特定指标和数据集上的最先进性能，如表 4 所示。

我们还在 EHRQA 上进行了 RL 和评估实验，EHRQA 是一个专门关注纵向门诊电子健康记录数据的合成数据集。在 EHRQA 训练集上使用 RL 对 MedGemma 27B Text 进行微调后，性能得到提升，其中在需要跨相互依赖记录进行推理的问题类别上观察到的增益最大。这些结果进一步支持了微调 MedGemma 以有效用于任务特定电子健康记录应用的潜力。有关数据集和实验的更多细节见补充说明。

讨论

我们介绍了 MedGemma，一个新的医学视觉-语言基础模型集合，以及 MedSigLIP，一个多领域医学图像编码器。这些模型基于 Gemma 3 构建，并针对医学领域进行了优化。我们在涵盖临床推理、生物医学知识、报告生成和医学图像分类任务的一系列医学基准上进行了评估，发现 MedGemma 和 MedSigLIP 表现强劲。通过微调可以进一步提升性能，凸显了这些模型的灵活性及其作为医疗保健 AI 应用开发有用起点的潜力。开发一个能够有效跨不同医学图像模态进行标记化的视觉编码器，并结合针对高性能语言模型的有效对齐，是这项工作的关键贡献。作为一个能够胜任多种模态的单一模型实用性的具体例子，开发者已使用统一流程跨不同模态对 MedGemma 进行调优，从而能够更高效、更有效地集成到用于通用临床实践指南检索和导航的单一系统中34。

随着开发者在医疗领域构建 AI 应用时可选择的方案日益增多，MedGemma 相比通用模型具有特定优势。这些优势在很大程度上源于在预训练和后训练中针对领域特定数据进行了优化整合，这一点体现在其在所有评估基准上相较基础 Gemma 3 模型的提升，以及达到了与规模大得多的模型相当的性能。

与大型或基于 API 的前沿模型相比，当用例需要以下任一条件时，MedGemma 具有优势：用于文档记录和可靠性验证的冻结模型、对训练或推理成本的敏感性、本地或离线运行的能力、特定的医学图像和文本能力，或对模型适配的完全控制。另一方面，当用户需要在没有上述约束的情况下获得最佳的广泛性能时，前沿模型可能仍是首选。值得注意的是，在智能体（agentic）场景中，大型模型也可以与 MedGemma 等模型协同使用，以实现有用的能力组合。

MedGemma 模型系列为开发者社区提供了广泛的下游潜在应用，下面描述了一些示例。多模态能力（包括对图像和文本嵌入的访问）可能对医学图像检索特别有用。这可以通过引用相似的既往病例来辅助解读，同时也能支持研究队列的构建和教育工具的开发。MedGemma 能够整合多样化的数据，将放射学、组织病理学、眼科和皮肤科图像与临床信息关联起来。这些模型的专门文本能力还可以从影像报告和临床记录中提取关键概念，从而简化诸如为临床试验匹配患者、开展药物警戒审查和分析医疗质量指标等任务。这些模型理解医学图像并生成报告的能力还可以进行微调，以更好地协助放射科医生和其他临床医生的工作流程，并改善检查结果向患者传达的方式。除了独立使用外，这些模型还可以作为智能体框架中的强大工具，跨不同模态组合能力，以提供定制化和全面的解决方案。

在本报告中，我们在广泛的既有基准上评估了 MedGemma 和 MedSigLIP 的性能，以提供其能力的一个概览。然而，我们注意到这些基准存在局限性，因此在其上评估性能只是验证实际效用的第一步35,36。此外，一些基准在模型性能方面可能已接近饱和，从而阻碍了对进展的衡量。因此，有必要开展进一步工作，继续在新的、高质量（且更具挑战性）的基准上评估这些模型，以更好地反映实际效用，例如参考文献 37 中所述。还需要更多工作来理解实际应用开发的性能能力和需求，包括将其纳入智能体框架。这些努力将为最佳用例以及未来具备扩展能力的模型版本的开发提供依据。

我们还注意到，在不同模态之间，专用模型在某些任务上仍可能提供更好的性能或更为适合。例如，尽管 MedSigLIP 和 MedGemma 在某些任务上展现出与许多组织病理学专用模型相当的性能，但用于组织病理学的最先进视觉编码器在若干基准任务上表现出更优越的性能。进一步优化病理学性能是一个可能的改进方向。其他重要的可能发展方向包括将放射学能力扩展到包含 CT 和 MRI 的三维序列，以及基因组学等额外模态的能力。在可能的情况下，从业者应在其感兴趣的任务上将 MedGemma 与其他基础模型进行比较。与此同时，尽管专用模型在某些任务上可能得分更高，但像 MedGemma 这样的多模态医学基础模型的一个关键优势在于其灵活性。尽管 MedGemma 在某些任务上超越了前沿模型的性能（表 3），但其价值还包括性能之外的方面，例如实现数据和模型主权，以及计算效率。无需为每种特定疾病或图像类型分别采用适配和实现方法，而是可以将统一的方法应用于许多任务。这种灵活性还延伸到对受益于语言生成和多图像模态的用例的潜在实用性，使系统能够适应新的医学挑战，并帮助连接患者信息的不同方面。

我们公开发布了 MedGemma 和 MedSigLIP，以促进社区跨多种模态对其进行广泛评估、改进和适配。在 MedGemma 首次发布后，更广泛的研究社区对其开展以及借助其开展的研究的初步示例总结于扩展数据表 5，其中包括对 OOD 模态和任务的评估。除了支持评估和可复现性之外，MedGemma 的开放性还为开发者提供了可预测性和灵活性，以便在真实世界的医疗保健应用中进行广泛的模型适配和验证。我们希望这种方法能够加速广泛医疗保健用例中 AI 应用的开发。

结论

在本研究中，我们展示了 MedGemma 模型在多种视觉-语言和纯文本医学任务中展现出强大的基线性能，并且能够通过针对特定任务的微调进一步提升性能。我们还展示了 MedSigLIP 具备稳健的多领域能力，因此可作为强大的医学视觉编码器基础模型。这些结果表明，优化预训练和后训练方法能够在多个医学影像领域实现多模态能力，为进一步开发提供了统一的起点。这些模型的广度和效率为解决一系列用例提供了令人兴奋的可能性。与此同时，模型错误或训练数据中微妙形式的分布偏差的潜在风险，仍是通过持续模型改进、缓解策略和持续验证38需要解决的重要方面。对下游应用的安全性、性能和可靠性进行深思熟虑的验证，仍然是推进多模态 AI 模型在医学中应用的关键方面。通过向开发者社区提供具有透明方法的 MedGemma 和 MedSigLIP 模型，我们希望看到它们能够支持许多有用且创新的医学应用。

方法

数据集

对于预训练期间的通用数据回放，利用了 SigLIP 和 Gemma 3（参考文献 7）的原始数据混合。医学训练和评估数据集大体沿用 Med-Gemini9 中使用的数据集。在此我们概述相对于参考文献 9 中所述细节，数据集的具体变化和差异。

训练数据集

纯文本数据集

对于文本数据集，我们使用多个医学问答数据集的训练划分，包括 MedQA10、MedMCQA11、PubMedQA12、MedExpQA57、AfriMed-QA14、HealthSearchQA58 和 LiveQA59，从大型 IT（指令微调）教师模型中采样了响应和 logits。我们还为大约 200,000 个合成医学问题采样了响应和 logits。为了生成这些合成问题，我们向 Gemini 提供从 MedQA 训练划分中随机选取的五个问题，并要求基于所提供的示例生成新的、与示例不重叠的问题。在生成初始的 500,000 个问题集后，我们将最终集合缩减至 200,000 个，以保持问题多样性。该过程包括对问题进行向量化（使用文档频率在 0.5 到 5 之间的 TF-IDF）、将维度降至 100 个特征、使用 k-means 生成 100 个聚类，最后从这些聚类中采样一个均匀分布的集合。

多模态数据集

MedGemma 的多模态能力聚焦于二维医学图像（例如 X 射线、CT 和 MRI 的二维切片）。相对于 Med-Gemini9，二维医学图像训练使用了相同的数据来源，而参考文献9中描述的三维体积和基因组数据集未被纳入。此外，我们和其他人已发现 PathVQA 和 MedVQA 中存在潜在的数据质量问题。因此，我们将它们从训练数据集中移除。我们未将 PAD-UFES-20 纳入后训练数据集，因为它侧重于非常特定病变类型的六分类，这与更通用的皮肤病学能力和用例的目标不符。对于训练数据中的 PMC-OA 部分，我们仅纳入 PMC-OA 中的单面板医学图像，以获得更好的数据质量。相对于 Med-Gemini，我们还引入了更大的内部数据集，涵盖眼科（多 184,852 张视网膜图像）、皮肤病学（多 51,049 张皮肤病学图像，包含 210 种不同皮肤状况）、组织病理学（总计约 3250 万个补丁–文本对，训练时进行下采样）和放射学数据（多 54,573 张 CT 二维切片、47,622 张 MRI 二维切片）；见扩展数据表 1。关于构成组织病理学和放射学（CT-US1 和 MRI-US1）的数据来源的更多细节，以及采样和整理策略，已在参考文献 9 中描述。用于训练的 CT 和 MRI 切片基于放射学报告中的文本进行整理，这些文本指定了特定发现的位置（即切片），并代表了来自美国放射学门诊诊断中心网络的研究多样性。组织病理学补丁使用切片级元数据和补丁级注释在多个数据集和组织类型中采样，以生成说明文字。关于数据集和说明文字的更多细节见补充表 7 和 8。内部皮肤病学数据集由来自哥伦比亚、澳大利亚和美国的去标识化皮肤病学图像（包括临床和皮肤镜图像）组成，分别涵盖远程皮肤病学状况、皮肤癌和正常皮肤。Chest ImaGenome33 和 EHRQA（补充说明——使用内部合成 EHR 数据集 EHRQA 的额外评估）数据集仅用于 MedGemma 27B 的后训练，作为该模型变体的额外探索领域。

数据预处理

我们的数据准备密切遵循参考文献9中的研究。图像填充和缩放算法保持不变，但由于 Gemma 3 中的视觉编码器不同，我们的图像被缩放为 896 × 896，而不是 768 × 768。遵循 Gemma 3，我们使用了具有 262,000 个条目的 SentencePiece 分词器。此外，对于 CT 图像，我们预选了以下三个窗口，并将其转换为输入图像的红色、绿色和蓝色（RGB）颜色通道，以突出显示（1）骨骼和肺部，窗宽 2,250，窗位 -100；（2）软组织，窗宽 350，窗位 40；（3）脑部，窗宽 80，窗位 40。

建模方法

建模架构和训练基础设施

MedGemma 模型架构遵循 Gemma 3（参考文献 7），并与所有现有的 Gemma 基础设施兼容。Gemma 3 视觉编码器是 SigLIP 编码器的 400M 变体，并在不同的 Gemma 语言模型规模（4B 和 27B）之间共享。输入图像分辨率为 896 × 896，像素值归一化至 (-1, 1)。语言模型组件同样遵循 Gemma 3，支持任意图像–文本交错和长上下文（128k）。与 Gemma 3 类似，MedGemma 在 TPUv4、TPUv5e 和 TPUv5p 上进行训练，利用预计算的视觉 token 以节省内存，并使用数据和模型分片进行多 pod 训练。

模型训练

MedGemma 多模态模型（MedGemma 4B 和 MedGemma 27B）使用了以下所有步骤，而 MedGemma 27B 文本模型仅利用了后训练阶段（因为我们在采用该方法的初始调优实验中观察到了更强的纯文本性能）。

MedGemma 的视觉编码器增强

为了提高视觉编码器编码和区分医学图像中细微差异的能力，我们使用扩展数据表 1 中列出的数百万医学图像–文本对，对 Gemma 3 中的视觉编码器（SigLIP-400M）进行了微调。为了保留 SigLIP 的现有性能，其原始训练数据（例如 WebLI）被保留，医学数据在训练中以 2% 的权重混合。

为了在通用领域能力与专业医学知识之间取得平衡，训练混合中医学数据的总比例被限制在 2%。在该医学子集中，各模态的数据可用性在规模上差异很大。为了充分利用可用数据而不引起模态特定的过拟合，我们采用了一种迭代的、经验性的采样策略来确定最终的混合权重。具体而言，通过跟踪有限数量的模态特定任务上的验证性能来优化采样权重——CXR 病症分类、病理切片分类、糖尿病视网膜病变分类、皮肤病病症分类以及用于通用能力的 ImageNet 零样本分类性能。初始权重按每个数据集的总样本数成比例设置，同时限制用于训练的医学数据总量。在初始训练运行后，我们分析验证曲线以调整分布——对于模型过拟合的数据集，权重被下采样以匹配在性能峰值步骤时所见到的样本数量。相反，对于在训练结束时验证指标仍在改善的数据集，采样权重被加倍。这一过程被迭代进行，直到所有模态的验证指标在训练阶段接近结束时同时达到峰值性能。最终优化的采样分布详见补充表 5。

虽然 Gemma 3 视觉编码器以 896 × 896 分辨率工作，但我们发现许多医学视觉任务在 448 × 448 分辨率下也能表现良好（补充表 2）。因此，虽然 MedGemma 图像编码器基于 896 × 896 分辨率，以保持与 Gemma 3 的兼容性和一致性，但发布的 MedSigLIP 模型基于 448 × 448 分辨率，以便社区更高效地进行实验和适配。448 × 448 编码器与 896 × 896 编码器共享相同的模型权重，唯一区别在于位置嵌入经过下采样，以便在较低分辨率下处理更少的输入图块。

多模态解码器预训练

在视觉编码器增强之后，Gemma 语言模型需要重新适配新的视觉编码器，不仅针对医学数据，也针对通用图像领域，以保持其视觉-语言推理能力。这一目标在预训练阶段通过将原始混合数据中的文本和交错图像数据与新引入的医学领域图像-文本配对数据相结合来实现。值得注意的是，我们在此步骤中没有进一步引入纯医学文本数据，因为原始 Gemma 3 混合数据已经是通用且大规模的。为降低计算需求，我们在原始 Gemma 3 预训练检查点之上继续预训练，将医学图像数据（扩展数据表 1）以 12% 的权重混合（基于调优实验），根据该混合比例在医学混合数据上训练约五个 epoch，并根据 CXR 报告生成以及放射学、皮肤病学和眼科学视觉问答的验证集表现选择检查点。

对于多模态解码器训练，训练混合数据中医学数据的总比例被限制在约 12%。我们采用了与视觉编码器增强类似的经验采样策略来定义最终的混合权重，并在有限数量的模态特定任务上进行了调优：MIMIC-CXR（放射学）上的 RadGraph F1、图块描述（病理学）的 ROUGE-L，以及皮肤病学（皮肤状况）和眼科学（视网膜成像）的 Top-1 分类准确率。如上所述，权重根据峰值性能或训练运行结束时的持续改进进行调整。最终优化的采样分布详见补充表 6，确保高容量数据集得到有效利用，而不会主导训练分布或导致早期过拟合。

后训练

从预训练中获得的知识需要在后训练阶段转化为能力。如之前针对 Gemma 3 所述，后训练有两个主要组成部分。蒸馏和 RL 的配方与 Gemma 3 开发时相同，并有以下补充：(1) 蒸馏——在此组件期间添加医学文本数据，以便从大型指令微调（IT）教师模型中进一步学习这些领域。(2) RL——在后训练的 RL 阶段使用了带有配对文本的医学成像数据。对于多模态训练，我们发现 RL 比 SFT 能带来更好的泛化能力，因此所有多模态后训练均通过 RL 进行。

MedGemma 微调

To demonstrate MedGemma’s capacity for improved task-specific performance relative to a nonmedical base model, we conducted fine-tuning experiments comparing use of MedGemma 4B and Gemma 3 4B as base models. These experiments included the following three multimodal tasks involving previously unseen datasets: (1) pneumothorax classification on CXRs via SIIM-ACR60, (2) histopathology patch classification via CRC100k61 and (3) skin lesion classification via ISIC 2017 (ref. 62). The base models were fine-tuned through SFT using low-rank adaptation using either all training data available (100%) or a 10% class-balanced selection to evaluate data efficiency. For SIIM-ACR and CRC100k, because these datasets provide no validation (tuning) splits, we reserved a random 10% per label of the original training data to form a validation set. For each task, we used a constant learning rate of 4 × 10−5 and fine-tuned the model up to four epochs on the full training dataset. Checkpoints that achieved the highest performance on the validation set were selected for the final evaluation on the test set. The balanced accuracy metric was selected to account for imbalanced label distribution in the test sets. Confidence intervals were generated by bootstrap resampling with 1,000 samples. Additionally, we performed RL-based fine-tuning for MIMIC-CXR report generation, starting with MedGemma 4B-IT as the base model, using the image and indication sections of the report as input, and training the model to complete the findings and impression sections.

Model evaluation

Model evaluation details for the different tasks are provided in Supplementary Note—MedGemma evaluations. Unless otherwise reported, all evaluations consisted of a single inference run per example. For MedGemma evaluations, a temperature of 0.0 was used for medical question sets and the default temperature was used on nonmedical benchmarks. For evaluations of all other models, on all datasets, each model’s default temperature and top-k settings were used. Additionally, details of the evaluation of the MedSigLIP encoder can be found in Supplementary Note—MedSigLIP evaluations. Evaluation using datasets completely external to training of the vision encoder, pretraining, or post-training is specified as OOD evaluation. All evaluations were conducted using data sources or data splits that were completely held out from MedGemma-specific training. Many members of the research community have also evaluated MedGemma and MedSigLIP in various scenarios following the release of the models34,63,64,65,66,67,68,69,70 and these results are summarized in Extended Data Table 5.

Use of AI in paper preparation

The introduction section of this paper was drafted manually and then suggestions from Gemini were reviewed and incorporated where useful. Final manual checks were performed to ensure content accuracy. The authors take full responsibility for the content.

Reporting summary

Further information on research design is available in the Nature Portfolio Reporting Summary linked to this article.

Data availability

De-identified data from public and private datasets were used. Detailed datasets are listed in Table 1 and Extended Data Table 1. Due to licensing restrictions, we could not share the private datasets, including EHRQA, US-Derm MCQA, PathMCQA, CT-US1, MRI-US1, internal histopathology, internal dermatology and EyePACS. Other training and evaluation datasets are publicly available.

Code availability

The models have been released openly, with information and details at the Google Health AI Developer Foundations site at https://goo.gle/hai-def and https://goo.gle/medgemma. These public sites also include code examples for running, fine-tuning and evaluating MedGemma.

References

  1. AlayracJ.-B. 2022. Flamingo: a visual language model for few-shot learning. In Proc. 36th International Conference on Neural Information Processing Systems (eds Koyejo, S. et al.) 23716–23736 (Curran Associates Inc., 2022).

  2. Achiam, J. et al. GPT-4 technical report. Preprint at arXiv https://doi.org/10.48550/arXiv.2303.08774 (2023).

  3. Touvron, H. et al. LLaMA: open and efficient foundation language models. Preprint at arXiv https://doi.org/10.48550/arXiv.2302.13971 (2023).

  4. Toma, A. et al. Clinical Camel: an open-source expert-level medical language model with dialogue-based knowledge encoding. Preprint at arXiv https://doi.org/10.48550/arXiv.2305.12031 (2023).

  5. Han, T. et al. MedAlpaca–an open-source collection of medical conversational AI models and training data. Preprint at arXiv https://doi.org/10.48550/arXiv.2304.08247 (2023).

  6. Labrak, Y. et al. BioMistral: a collection of open-source pretrained large language models for medical domains. In Findings of the Association for Computational Linguistics (eds Ku, L. -W., Martins, A. & Srikumar, V.) 5848–5864 (2024).

  7. Gemma-Team et al. Gemma 3 technical report. Preprint at arXiv https://doi.org/10.48550/arXiv.2503.19786 (2025).

  8. Saab, K. et al. Capabilities of Gemini models in medicine. Preprint at arXiv https://doi.org/10.48550/arXiv.2404.18416 (2024).

  9. Yang, L. et al. Advancing multimodal medical capabilities of Gemini. Preprint at arXiv https://doi.org/10.48550/arXiv.2405.03162 (2024).

  10. Jin, D. et al. What disease does this patient have? A large-scale open domain question answering dataset from medical exams. Appl. Sci. 11, 6421 (2021).

    Article  CAS  Google Scholar 

  11. Pal, A., Umapathi, L. K. & Sankarasubbu, M. MedMCQA: a large-scale multi-subject multi-choice dataset for medical domain question answering. In Proceedings of the Conference on Health, Inference, and Learning (eds Flores, G. et al.) 248–260 (PMLR, 2022).

  12. Jin, Q., Dhingra, B., Liu, Z., Cohen, W. W. & Lu, X. PubMedQA: a dataset for biomedical research question answering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (eds Inui, K. et al.) 2567–2577 (2019).

  13. Hendrycks, D. et al. Measuring massive multitask language understanding. In International Conference on Learning Representations (2021).

  14. Olatunji, T. et al. AfriMed-QA: a pan-african, multi-specialty, medical question-answering benchmark dataset. In Proc. 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (eds Che, W. et al.) 1948–1973 (2024).

  15. Schmidgall, S. et al. AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments. Preprint at arXiv https://doi.org/10.48550/arXiv.2405.07960 (2024).

  16. DeepSeek-AI. DeepSeek-R1: incentivizing reasoning capability in LLMs via reinforcement learning. Nature 645, 633–638 (2025).

  17. Ankit Pal, M. S. OpenBioLLMs: advancing open-source large language models for healthcare and life sciences https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B (2024).

  18. Warner, B. et al. Medmarks: a comprehensive open-source LLM benchmark suite for medical tasks. Preprint at arXiv https://doi.org/10.48550/arXiv.2605.01417 (2026).

  19. Pandit, S. et al. MedHallu: a comprehensive benchmark for detecting medical hallucinations in large language models. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (eds Christodoulopoulos, C. et al.) 2858–2873 (2025).

  20. Liu, B. et al. SLAKE: a semantically-labeled knowledge-enhanced dataset for medical visual question answering. In Proceedings of the 2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI) 1650–1654 (IEEE, 2021).

  21. Lau, J. J., Gayen, S., Ben Abacha, A. & Demner-Fushman, D. A dataset of clinically generated visual questions and answers about radiology images. Sci. Data 5, 180251 (2018).

    Article  PubMed  PubMed Central  Google Scholar 

  22. Xu, S. et al. ELIXR: towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders. Preprint at arXiv https://doi.org/10.48550/arXiv.2308.01317 (2023).

  23. Li, C. et al. LLaVA-Med: training a large language-and-vision assistant for biomedicine in one day. Adv. Neural Inf. Process. Syst. 36, 28541–28564 (2023).

    Article  Google Scholar 

  24. Zhang, K. et al. BiomedGPT: a unified and generalist biomedical generative pre-trained transformer for vision, language, and multimodal tasks. Preprint at arXiv https://arxiv.org/abs/2305.17100v2 (2024).

  25. Xie, Y. et al. MedTrinity-25M: a large-scale multimodal dataset with multigranular annotations for medicine. In The Thirteenth International Conference on Learning Representations (2025).

  26. Chen, J. et al. Towards injecting medical visual knowledge into multimodal LLMs at scale. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (eds Al-Onaizan, Y., Bansal, M. & Chen, Y. -N.) 7346–7370 (2024).

  27. Wang, J. et al. SemiHVision: enhancing medical multimodal models with a semi-human annotated dataset and fine-tuned instruction generation. Preprint at arXiv https://doi.org/10.48550/arXiv.2410.14948 (2024).

  28. Jain, S. et al. RadGraph: extracting clinical entities and relations from radiology reports. Preprint at arXiv https://doi.org/10.48550/arXiv.2106.14463 (2021).

  29. Ostmeier, S. et al. GREEN: Generative radiology report evaluation and error notation. Findings of the Association for Computational Linguistics: EMNLP 2024 374–390 https://doi.org/10.18653/v1/2024.findings-emnlp.21 (Association for Computational Linguistics, 2024).

  30. Zhang, X., Acosta, J. N., Miller, J., Huang, O. & Rajpurkar, P. ReXGradient-160K: a large-scale publicly available dataset of chest radiographs with free-text reports. In Machine Learning for Health (2025).

  31. Demner-Fushman, D. et al. Preparing a collection of radiology examinations for distribution and retrieval. J. Am. Med. Inform. Assoc. 23, 304–310 (2016).

    Article  PubMed  Google Scholar 

  32. Pal, A. & Sankarasubbu, M. Gemini goes to Med school: exploring the capabilities of multimodal large language models on medical challenge problems & hallucinations. In Proc. 6th Clinical Natural Language Processing Workshop (eds Naumann, T. et al.) 21–46 (2024).

  33. Wu, J. et al. Chest ImaGenome dataset. PhysioNet. https://doi.org/10.13026/wv01-y230 (2021).

  34. Zun, L. Q., Halim, M. Z. B. A. & Fye, G. M. Fine-tuning MedGemma for clinical captioning to enhance multimodal RAG over Malaysia CPGs. In IEEE 13th Conference on Systems, Process & Control (ICSPC) 129–134 (2025).

  35. Alaa, A. et al. Medical large language model benchmarks should prioritize construct validity. In Forty-second International Conference on Machine Learning Position Paper Track (2025).

  36. Mahmood, F. A benchmarking crisis in biomedical machine learning. Nat. Med. 31, 1060 (2025).

    Article  CAS  PubMed  Google Scholar 

  37. Bedi, S. et al. MedHELM: holistic evaluation of large language models for medical tasks. Nat. Med. 32, 943–951 (2026).

  38. Kim, Y. et al. Medical hallucinations in foundation models and their impact on healthcare. Preprint at arXiv https://doi.org/10.48550/arXiv.2503.05777 (2025).

  39. Muennighoff, N. et al. s1: Simple test-time scaling. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (eds Christodoulopoulos, C. et al.) 20275–20321 (Association for Computational Linguistics, 2025).

  40. John Snow Labs. JSL-MedLLaMA-3-8B-v2.0 https://huggingface.co/johnsnowlabs/JSL-MedLlama-3-8B-v2.0 (accessed 11 June 2025).

  41. IQVIA. Introducing IQVIA Medical Reasoning (Med-R1 8B): Best-in-class medical reasoning LLM. https://www.iqvia.com/blogs/2025/04/introducing-iqvia-medical-reasoning-med-r1-8b (accessed 11 June 2025).

  42. Tu, T. et al. Towards generalist biomedical AI. NEJM AI 1, AIoa2300138 (2024).

    Article  Google Scholar 

  43. Deperrois, N. et al. RadVLM: a multitask conversational vision-language model for radiology. Preprint at arXiv https://doi.org/10.48550/arXiv.2502.03333 (2025).

  44. Endo, M., Krishnan, R., Krishna, V., Ng, A. Y. & Rajpurkar, P. Retrieval-based chest x-ray report generation using a pre-trained contrastive language-image model. In Proceedings of the Machine Learning for Health (eds Roy, S. et al.) Vol. 158, 209–219 (PMLR, 2021).

  45. Miura, Y., Zhang, Y., Tsai, E. B., Langlotz, C. P. & Jurafsky, D. Improving factual completeness and consistency of image-to-text radiology report generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (eds Toutanova, K. et al.) 5288–5304 (2021).

  46. Hyland, S. L. et al. MAIRA-1: a specialised large multimodal model for radiology report generation. Preprint at arXiv https://doi.org/10.48550/arXiv.2311.13668 (2023).

  47. Bannur, S. et al. MAIRA-2: grounded radiology report generation. Preprint at arXiv https://doi.org/10.48550/arXiv.2406.04449 (2024).

  48. Chen, Z., Song, Y., Chang, T.-H. & Wan, X. Generating radiology reports via memory-driven transformer. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (eds Webber, B. et al.) 1439–1449 (2020).

  49. Moens, M.-F., Huang, X., Specia, L., Yih, & S. W.-T. (eds). Weakly supervised contrastive learning for chest X-ray report generation. In Findings of the Association for Computational Linguistics: EMNLP 2021 4009–4015 (Association for Computational Linguistics, 2021).

  50. Nicolson, A., Dowling, J. & Koopman, B. Improving chest x-ray report generation by leveraging warm starting. Artif. Intell. Med. 144, 102633 (2023).

    Article  PubMed  Google Scholar 

  51. Tanno, R. et al. Collaboration between clinicians and vision–language models in radiology report generation. Nat. Med. 31, 599–608 (2025).

    Article  CAS  PubMed  Google Scholar 

  52. Steiner, A. et al. PaliGemma 2: a family of versatile VLMs for transfer. Preprint at arXiv https://doi.org/10.48550/arXiv.2412.03555 (2024).

  53. Zhou, H.-Y., Adithan, S., Acosta, J. N., Topol, E. J. & Rajpurkar, P. MedVersa: a generalist learner for multifaceted medical image interpretation. NEJM AI 3, AIoa2500595 (2026).

    Google Scholar 

  54. Wang, X. et al. ChestX-ray8: hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2097–2106 (IEEE, 2017).

  55. Ward, A. et al. Creating an empirical dermatology dataset through crowdsourcing with web search advertisements. JAMA Netw. Open 7, e2446615 (2024).

    Article  PubMed  PubMed Central  Google Scholar 

  56. Cancer Genome Atlas Network Comprehensive molecular portraits of human breast tumours. Nature 490, 61–70 (2012).

    Article  Google Scholar 

  57. Alonso, I., Oronoz, M. & Agerri, R. MedExpQA: multilingual benchmarking of large language models for medical question answering. Artif. Intell. Med. 155, 102938 (2024).

    Article  PubMed  Google Scholar 

  58. Singhal, K. et al. Large language models encode clinical knowledge. Nature 620, 172–180 (2023).

    Article  CAS  PubMed  PubMed Central  Google Scholar 

  59. Abacha, A. B., Agichtein, E., Pinter, Y. & Demner-Fushman, D. Overview of the medical question answering task at TREC 2017 LiveQA. https://trec.nist.gov/pubs/trec26/papers/Overview-QA.pdf (2017).

  60. Zawacki, A. et al. SIIM-ACR pneumothorax segmentation. https://kaggle.com/competitions/siim-acr-pneumothorax-segmentation (2024).

  61. Kather, J. N., Halama, N. & Marx, A. 100,000 histological images of human colorectal cancer and healthy tissue (version v0.1) [dataset]. Zenodo https://doi.org/10.5281/zenodo.1214456 (2018).

  62. Codella, N. C. F. et al. Skin lesion analysis toward melanoma detection: a challenge at the 2017 International Symposium on Biomedical Imaging (ISBI), hosted by the International Skin Imaging Collaboration (ISIC). In IEEE 15th International Symposium on Biomedical Imaging, 168–172 (2018).

  63. Pal, A. et al. ReXVQA: a large-scale visual question answering benchmark for generalist chest X-ray understanding. Preprint at arXiv https://doi.org/10.48550/arXiv.2506.04353 (2025).

  64. Wu, J. et al. BRIDGE: benchmarking large language models for understanding real-world clinical practice text. Nat. Biomed. Eng. https://doi.org/10.1038/s41551-026-01719-2 (2026).

  65. Baharoon, M. et al. RadGame: an AI-powered platform for radiology education. In Proc. 5th Machine Learning for Health Symposium (eds Argaw, P. et al.) Vol. 297, 898–920 (2026).

  66. Zhou, S. et al. Automating expert-level medical reasoning evaluation of large language models. npj Digit. Med. 9, 34 (2026).

  67. Sung, N.-J., Lee, D., Choi, B. H. & Park, C. J. AMRG: extend vision language models for automatic mammography report generation. Preprint at arXiv https://doi.org/10.48550/arXiv.2508.09225 (2025).

  68. Gautam, S., Riegler, M. A. & Halvorsen, P. Kvasir-VQA-x1: a multimodal dataset for medical reasoning and robust MedVQA in gastrointestinal endoscopy. In Data Engineering in Medical Imaging (eds Bhattarai, B. et al.) 53–63 (2025).

  69. Aali, A. et al. MedVAL: toward expert-level medical text validation with language models. npj Digit. Med. https://doi.org/10.1038/s41746-026-03084-5 (2026).

  70. Cui, X., Huang, T., Wang, Y., Hu, L. & Yin, L. MedFM-Robust: benchmarking robustness of medical foundation models. Preprint at arXiv https://doi.org/10.48550/arXiv.2605.19027 (2026).

Download references

Acknowledgements

Many teams from both Google Research and Google DeepMind collaborated extensively on this project. The authors thank E. Wulczyn for their feedback and insights, which substantially enhanced this paper; N. Hammel, L. Foster and K. Parakh (Google colleagues) for their review of the qualitative examples shown in this paper; and A. Steiner and X. Wang (Google colleagues) for sharing their expertise with the Big Vision infrastructure. The results shown here are in part based on data generated by The Cancer Genome Atlas Research Network. The NIH CXR images are provided by the NIH Clinical Center and can be downloaded from https://nihcc.app.box.com/v/ChestXray-NIHCC. Dermatology data from the Skin Condition Image Network dataset are subject to the Skin Condition Image Network license, available at https://github.com/google-research-datasets/scin/blob/main/LICENSE.

Funding

This study was funded by Alphabet and/or a subsidiary thereof (‘Alphabet’).

Author information

Author notes

  1. These authors contributed equally: Andrew Sellergren, Sahar Kazemzadeh.

  2. These authors jointly supervised this work: Shravya Shetty, David F. Steiner, Rory Pilgrim, Daniel Golden, Lin Yang.

Authors and Affiliations

  1. Google, Mountain View, CA, USA

    Andrew Sellergren, Sahar Kazemzadeh, Fereshteh Mahvar, Atilla Kiraly, Madeleine Traverse, Timo Kohlberger, Chufan Gao, Ronnachai Jaroensri, Shawn Xu, Fayaz Jamil, Cían Hughes, Justin Chen, Liron Yatziv, Tiffany Chen, Bram Sterling, Stefanie Anna Baby, Susanna Maria Baby, Jeremy Lai, Samuel Schmidgall, Lu Yang, Kejia Chen, Per Bjornsson, Shashir Reddy, Ryan Brush, Kenneth Philbrick, Bashir Sadjad, Mercy Asiedu, Ines Mezerreg, Howard Hu, Howard Yang, Richa Tiwari, Sunny Jansen, Preeti Singh, Yubin Kim, Daniel McDuff, Rachelle Sico, Aishwarya Kamath, Johan Ferret, Shreya Pathak, Nino Vieillard, Ramona Merhej, Sarah Perrin, Tatiana Matejovicova, Alexandre Ramé, Morgane Riviere, Louis Rouillard, Thomas Mesnard, Geoffrey Cideron, Jean-bastien Grill, Sabela Ramos, Edouard Yvinec, Michelle Casbon, Elena Buchatskaya, Jean-Baptiste Alayrac, Dmitry Lepikhin, Vlad Feinberg, Sebastian Borgeaud, Alek Andreev, Cassidy Hardin, Robert Dadashi, Léonard Hussenot, Armand Joulin, Olivier Bachem, Clement Farabet, Joelle Barral, Tris Warkentin, Jonathon Shlens, David Fleet, Shekoofeh Azizi, Victor Cotruta, Omar Sanseviero, Gus Martins, Phoebe Kirk, Anand Rao, Yossi Matias, Katherine Chou, Avinatan Hassidim, Dale Webster, Shravya Shetty, Kavi Goel, Yun Liu, Can Kirmizibayrak, David F. Steiner, Rory Pilgrim, Daniel Golden & Lin Yang

  2. Google via Advanced Clinical, Deerfield, IL, USA

    Charles Lau

  3. Google via Buchanan Ingersoll and Rooney PC, Pittsburgh, PA, USA

    Catherine Kozlowski

Authors

  1. Andrew Sellergren
  2. Sahar Kazemzadeh
  3. Fereshteh Mahvar
  4. Atilla Kiraly
  5. Madeleine Traverse
  6. Timo Kohlberger
  7. Chufan Gao
  8. Ronnachai Jaroensri
  9. Shawn Xu
  10. Fayaz Jamil
  11. Cían Hughes
  12. Charles Lau
  13. Justin Chen
  14. Liron Yatziv
  15. Tiffany Chen
  16. Bram Sterling
  17. Stefanie Anna Baby
  18. Susanna Maria Baby
  19. Jeremy Lai
  20. Samuel Schmidgall
  21. Lu Yang
  22. Kejia Chen
  23. Per Bjornsson
  24. Shashir Reddy
  25. Ryan Brush
  26. Kenneth Philbrick
  27. Bashir Sadjad
  28. Mercy Asiedu
  29. Ines Mezerreg
  30. Howard Hu
  31. Howard Yang
  32. Richa Tiwari
  33. Sunny Jansen
  34. Preeti Singh
  35. Yubin Kim
  36. Daniel McDuff
  37. Catherine Kozlowski
  38. Rachelle Sico
  39. Aishwarya Kamath
  40. Johan Ferret
  41. Shreya Pathak
  42. Nino Vieillard
  43. Ramona Merhej
  44. Sarah Perrin
  45. Tatiana Matejovicova
  46. Alexandre Ramé
  47. Morgane Riviere
  48. Louis Rouillard
  49. Thomas Mesnard
  50. Geoffrey Cideron
  51. Jean-bastien Grill
  52. Sabela Ramos
  53. Edouard Yvinec
  54. Michelle Casbon
  55. Elena Buchatskaya
  56. Jean-Baptiste Alayrac
  57. Dmitry Lepikhin
  58. Vlad Feinberg
  59. Sebastian Borgeaud
  60. Alek Andreev
  61. Cassidy Hardin
  62. Robert Dadashi
  63. Léonard Hussenot
  64. Armand Joulin
  65. Olivier Bachem
  66. Clement Farabet
  67. Joelle Barral
  68. Tris Warkentin
  69. Jonathon Shlens
  70. David Fleet
  71. Shekoofeh Azizi
  72. Victor Cotruta
  73. Omar Sanseviero
  74. Gus Martins
  75. Phoebe Kirk
  76. Anand Rao
  77. Yossi Matias
  78. Katherine Chou
  79. Avinatan Hassidim
  80. Dale Webster
  81. Shravya Shetty
  82. Kavi Goel
  83. Yun Liu
  84. Can Kirmizibayrak
  85. David F. Steiner
  86. Rory Pilgrim
  87. Daniel Golden
  88. Lin Yang

Contributions

A.S., S.K., D.F.S., R.P., D.G. and Lin Yang conceptualized and designed the study. F.J., D.F.S., R.P. and D.G. contributed to the acquisition of the data. A.S., S.K., F.M., A. Kiraly, M.T., T.K., C.G., R.J., S.X., L. Yatziv, T.C., B. Sterling, S.A.B., S.M.B., J.L., S. Schmidgall, Lu Yang, K. Chen, P.B., S. Reddy, R.B., K.P., B. Sadjad, M.A., I.M., Y.K., D.M., A. Kamath, J.F., S. Pathak, N.V., R.M., S. Perrin, T. Matejovicova, A. Ramé, M.R., L.R., T. Mesnard, G.C., J.-B.G., S. Ramos, E.Y., M.C., E.B., J.-B.A., D.L., V.F., S.B., A.A., C. Hardin, R.D., L.H., A.J., O.B., C.K. and Lin Yang contributed to the technical implementation. C. Hughes, C.L., J.C. and D.F.S contributed to clinical guidance. C.F., J.B., T.W., J.S., D.F., Y.M., K. Chou, A.H., D.W., S. Shetty, K.G. and Y.L. provided strategic guidance. A.S., F.J., H.H., H.Y., R.T., S.J., P.S., D.F.S., R.P., D.G. and Lin Yang contributed to paper organization and team logistics. F.M., L. Yatziv, T.C., B. Sterling, S.A.B., S.M.B., K.P., V.C., O.S., G.M., P.K., A. Rao, C. Kirmizibayrak, R.S. and C. Kozlowski contributed to externalization of the open-source infrastructure. A.S., S.K., A. Kiraly, M.T., T.K., C.G., S.A., D.F.S., D.G. and Lin Yang contributed to drafting and revising the paper.

Corresponding authors

Correspondence to Andrew Sellergren, David F. Steiner, Daniel Golden or Lin Yang.

Ethics declarations

Competing interests

All authors, except for C.L. and C. Kozlowski, are current or former employees of Google LLC, a subsidiary of Alphabet, and may own stock as part of their standard compensation packages.

Peer review

Peer review information

Nature Medicine thanks Pranav Rajpurkar and the other, anonymous, reviewer(s) for their contribution to the peer review of this work. Primary Handling Editors: Mattia Andreoletti and Joao Monteiro, in collaboration with the Nature Medicine team.

Additional information

Publisher’s note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Extended data

Extended Data Fig. 1 Human evaluation of chest X-ray report generation.

The MedGemma 4B pretrained model was used to generate reports for a sample of images from the MIMIC-CXR test set, including images for which the original report identified abnormalities (‘abnormal’) and those for which the original report did not identify abnormalities (‘normal’). A single US board-certified thoracic radiologist reviewed the MIMIC-CXR report, the AI-generated report and the corresponding CXR image to judge the quality of the reports. Images were reviewed using the original DICOMs on a clinical diagnostic viewer. The radiologist was aware of which reports were AI generated. Across all cases, the radiologist rated 81% of MedGemma AI-generated CXR reports as likely to result in the same or superior clinical patient management when compared with the original reports.

Extended Data Fig. 2 Fine-tuning performance of MedGemma 4B and Gemma 3 4B.

Plots represent mean balanced accuracy ± 95% confidence intervals on independent test splits across varying training data fractions. To account for class imbalance, balanced accuracy was used and calculated as the unweighted mean of class-specific recall. A training fraction of 0% indicates the baseline model before fine-tuning. The unit of study was an individual image or tissue patch for histopathology. Sample sizes are: CRC100k (n = 7,180 patches), ISIC 2017 (n = 600 dermoscopic images) and SIIM ACR (n = 1,068 chest X-rays). Confidence intervals were derived via non-parametric bootstrap resampling with 1,000 iterations across independent test samples; no technical replicates or repeated measurements were used.

Extended Data Table 1 Overview of MedGemma training datasets

Full size table

Extended Data Table 2 Medical VQA results for SLAKE and VQA-RAD

Full size table

Extended Data Table 3 Performance on AgentClinic benchmarks

Full size table

Extended Data Table 4 Accuracy results on general, non-medical benchmarks

Full size table

Extended Data Table 5 Examples from the broader research community of research performed on and with MedGemma since its initial release

Full size table

Supplementary information

Supplementary Information (download PDF )

Supplementary Note (description of the evaluation methodologies, datasets and text prompts used to assess the MedGemma and MedSigLIP models across a variety of medical and general-purpose tasks, as well as expanded training details, performance metrics, manual expert-review rubrics and clinical reasoning examples), Supplementary Figs. 1–5 and Supplementary Tables 1–25.

Reporting Summary (download PDF )

Rights and permissions

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Sellergren, A., Kazemzadeh, S., Mahvar, F. et al. An open vision-language model for diverse medical applications. Nat Med (2026). https://doi.org/10.1038/s41591-026-04626-w

Download citation

  • Received: 09 March 2026

  • Accepted: 04 August 2026

  • Published: 06 October 2026

  • Version of record: 06 October 2026

  • DOI: https://doi.org/10.1038/s41591-026-04626-w

来源：Hacker News · nature.com

Google / Gemini多模态数据与训练论文研究#论文/研究#多模态#数据/训练#Google