微软 GigaPath-Flash 与 GigaTIME-Flash：面向人群规模发现的高效病理基础模型

Overview of the GigaPath/GigaTIME model family. GigaPath-Flash provides efficient tile and slide encoders at 22M parameters. GigaTIME-Flash predicts spatial proteomics from H&E, replacing the CNN backbone with the distilled ViT-S encoder.

概览

Flash 系列扩展了 GigaPath 和 GigaTIME，显著提升了效率，使大规模病理研究更加可及和实用。
蒸馏后的病理基础模型骨干在保持性能的同时降低了计算需求，从而能够对更大的患者队列进行重复分析。
这些开放模型支持群体规模的发现，帮助研究人员在多样化的癌症数据集中研究疾病生物学、生物标志物和临床结局。

GigaPath（在新标签页中打开）和 GigaTIME（在新标签页中打开）展示了基础模型如何从常规收集的病理数据中支持全切片分析和肿瘤微环境建模。GigaPath-Flash 和 GigaTIME-Flash 使这些能力大幅提升效率，让研究人员能够分析更大的队列、运行更多实验，并迈向群体规模的发现。 GigaPath-Flash 和 GigaTIME-Flash 是研究模型。它们并非为临床用途而设计或验证，包括诊断、预后、治疗选择或其他患者护理决策。性能可能因数据集、扫描仪、机构、人群和用例而异。

计算病理学中的规模机遇

组织病理学是癌症研究中最丰富、最广泛可用的信息来源之一。每一次组织活检都会产生一张全切片图像，以亚细胞分辨率捕捉细胞形态——而医院每年产生数百万张这样的切片。这些数据包含与诊断、预后、治疗选择以及肿瘤微环境生物学相关的信息。

基础模型已开始大规模解锁这些信息。但全切片图像很大——通常超过十亿像素——即使将基础模型应用于单张切片，也需要处理数千个图像块。当研究问题涉及数万名患者时，计算成本会迅速增长。而群体规模的发现并非单次模型运行：它需要在患者亚组、生物标志物和临床终点之间反复进行特征提取、统计分析、假设检验和验证。

计算成本限制了研究人员可以研究的患者、数据集、任务和假设的数量。要充分发挥病理基础模型的潜力，我们需要能够在庞大患者群体中反复且经济地应用的模型。

从 GigaPath 和 GigaTIME 到 -Flash 系列

GigaPath（Nature，2024）（在新标签页中打开）是一个全切片基础模型，在 Providence 的大规模真实世界组织病理学数据上预训练。与仅在图像块级别运行的模型不同，GigaPath 学习整张切片的上下文化表示，同时捕捉局部细胞模式和全局组织结构。

GigaTIME (Cell, 2026)（在新标签页中打开）将这一系列工作扩展到肿瘤微环境。GigaTIME 基于 4000 万个细胞、配对 H&E 与多重免疫荧光（mIF）数据进行训练，可将常规 H&E 图像转换为覆盖 21 个蛋白通道的虚拟空间蛋白质组图谱。应用于超过 14,000 名癌症患者，它生成了一个虚拟群体，揭示了免疫细胞状态与临床生物标志物之间超过 1,200 个具有统计学显著性的关联。

GigaPath 和 GigaTIME 解决了病理数据的规模和生物学发现的问题。而现在，Flash 系列模型解决了实验规模的问题。

Figure 1: Overview of the GigaPath/GigaTIME model family. GigaPath-Flash provides efficient tile and slide encoders at 22M parameters. GigaTIME-Flash predicts spatial proteomics from H&E, replacing the CNN backbone with the distilled ViT-S encoder. — 图 1：GigaPath/GigaTIME 模型系列概览。GigaPath-Flash 以 2200 万参数提供高效的切片块和全切片编码器。GigaTIME-Flash 从 H&E 预测空间蛋白质组，用蒸馏后的 ViT-S 编码器替换 CNN 主干。

推出 GigaPath-Flash 和 GigaTIME-Flash

Flash 系列共享一个核心设计目标：在保留有用的病理表征的同时，大幅降低生成和使用这些表征所需的计算资源。两个模型都构建在一个通用的高效主干之上——一个从原始十亿参数 GigaPath 编码器蒸馏而来的紧凑 ViT-S 切片块编码器——并且都以 Apache 2.0 许可证发布。

GigaPath-Flash

GigaPath-Flash 是一个用于全切片表征学习的高效基础模型。它将一个 2200 万参数的 ViT-S 切片块编码器与一个 2100 万参数的 LongNet 全切片编码器相结合。切片块编码器从原始 GigaPath ViT-g 教师模型蒸馏而来，将十亿参数模型的表征能力迁移到一个规模小一个数量级的主干中。全切片编码器通过膨胀注意力将所有切片块嵌入置于上下文中，其计算量随切片块数量线性扩展。

在全切片级分类基准（PANDA 前列腺分级和 EBRAINS 脑肿瘤亚型分类）上，GigaPath-Flash 在全切片预训练模型中实现了最低的推理成本，同时保持了有竞争力的性能——在计算量约少 50 倍的情况下，得分与原始 GigaPath 相差在 3% 以内。

Figure 2: Efficiency–performance trade-off on whole-slide benchmarks. GigaPath-Flash (red, top-left) achieves competitive performance at substantially lower computational cost than other whole-slide pretrained models. — 图 2：全切片基准上的效率–性能权衡。GigaPath-Flash（红色，左上）以显著低于其他全切片预训练模型的计算成本实现了有竞争力的性能。

GigaTIME-Flash

GigaTIME-Flash 用 GigaPath-Flash ViT-S 编码器替换了原始 GigaTIME 的 CNN 主干，并搭配一个轻量级卷积解码器用于 H&E 到 mIF 的转换。该模型使用 LoRA 适配器进行微调，使预训练编码器权重基本保持冻结。

在涵盖脑癌、乳腺癌、结肠癌和肺癌的分布内和分布外队列上，GigaTIME-Flash 在空间蛋白预测质量上达到或超过原始 GigaTIME。这些提升在分布外数据上尤为显著，表明基础模型主干改善了对先前未见组织类型的泛化能力。

Figure 3: Mean windowed Pearson correlation for GigaTIME and GigaTIME-Flash on the GigaTIME test set and four out-of-distribution Prov-TMA cohorts. GigaTIME-Flash matches or improves upon the original across all cohorts. — 图 3：GigaTIME 和 GigaTIME-Flash 在 GigaTIME 测试集及四个分布外 Prov-TMA 队列上的平均窗口化 Pearson 相关性。GigaTIME-Flash 在所有队列上达到或超过原始版本。

高效而不放弃基础

Flash 模型的效率提升是显著的：

模型	类型	效率提升
GigaPath-Flash	全切片基础模型	与 GigaPath 相比，计算量减少约 50 倍，预测性能达到 97%
GigaTIME-Flash	空间蛋白质组学	与 GigaTIME 相比，速度提升约 6 倍，内存占用减少约 8 倍，预测性能更优

对于单张切片，这些差异会降低运行时间和硬件需求。而在数万张切片的规模下，它们可能决定一项实验是否可行。为说明这一点，我们估算了在单块 A100 GPU 上为不同规模队列生成虚拟 mIF 的实际运行时间，假设每张切片约有 10,000 个图块：

模型	1,000 张切片	10 万张切片	100 万张切片
GigaTIME-Flash	约 2 GPU 小时	约 7 GPU 天	约 70 GPU 天
GigaTIME	约 7 GPU 小时	约 30 GPU 天	约 300 GPU 天

估算假设每张切片约 10,000 个图块，批大小为 128，单块 NVIDIA A100 GPU。实际运行时间取决于切片大小、切块分辨率和硬件。

Figure 4: GigaTIME efficiency scaling. Left: throughput (tiles/sec) vs. batch size. Right: peak GPU memory (GB) vs. batch size. GigaTIME-Flash scales to over 1,600 tiles/sec while using a fraction of the memory. — 图 4：GigaTIME 效率扩展。左：吞吐量（图块/秒）与批大小的关系。右：峰值 GPU 内存（GB）与批大小的关系。GigaTIME-Flash 可扩展至每秒超过 1,600 个图块，同时仅使用一小部分内存。

开放模型发布

GigaPath-Flash 和 GigaTIME-Flash 均以 Apache 2.0 许可证作为开放权重模型发布。模型权重和代码可在 HuggingFace 上获取：

这是一次早期研究发布。我们目前的评估覆盖了有限的基准和队列，仍需要在任务、扫描仪和患者群体中进行更广泛的验证。我们预计这些模型最有价值的应用将包括超出我们初始实验范围的科学问题、队列和用例。我们欢迎社区评估，同样感兴趣的是关于这些模型在哪些方面表现良好、在哪些方面存在不足的报告。

下游临床应用将需要额外的多机构和前瞻性验证。

效率作为发现的推动力

GigaPath 和 GigaTIME 展示了病理基础模型可以从全切片和肿瘤组织中学习到什么。GigaPath-Flash 和 GigaTIME-Flash 是朝着让这些能力可用于更大群体、更多实验和更广泛研究社区迈出的一步。

通过让病理基础模型更高效，我们希望扩大研究人员能够提出的科学问题的规模。

致谢

GigaPath-Flash 和 GigaTIME-Flash 是 Microsoft Research、华盛顿大学和 Providence 的联合工作。技术细节请见论文。

论文合著者：Naoto Usuyama、Jeya Maria Jose Valanarasu、Sicong Yao、Hanwen Xu、Jaspreet Bagga、Guanghui Qin、Robert E. Kramer、Cliff Wong、Soohee Lee、Hao Qiu、Theodore Zhengde Zhao、Racheli Ben Shimol、Angela Crabtree、Kevin Matlock、Eduardo Alejandro Lozano Garcia、Naiteek Sangani、Alberto Santamaria-Pang、Maximilian Rokuss、Yashna Hasija、Naisargi Manishkumar Patel、Jason Entenmann、Alexandra Q. Bartlett、Bill J. Wright、Bernard A. Fox、Brian Piening、Sheng Zhang、Sheng Wang、Tristan Naumann、Carlo Bifulco、Hoifung Poon

在新标签页中打开

文章 GigaPath-Flash 和 GigaTIME-Flash：借助高效病理基础模型迈向群体规模发现首次发表于 Microsoft Research。