生物医学影像的真正瓶颈是数据而非模型

第一部分——问题所在

四个领域，同一个瓶颈

医院和医疗系统提供原材料。放射学是医疗 AI 中监管最严的领域：截至 2024 年年中，FDA 已批准的约 950 款 AI/ML 设备中，约 723 款（约 76%）是放射学工具。几乎所有这些工具都是窄用途、需人工监督的，用于分诊、测量、重建或工作列表排序。医院里真正的难点很少是模型本身，而是数据被锁在 PACS 和厂商中立归档中，这些系统是为向阅片者提供图像而建，而非为回答研究问题。提取一个队列意味着要从临床系统中导出图像、去标识化（PHI 藏在 DICOM 头里，还会被烧进像素），并找到可用的算力。模型是那容易的 10%。

学术医疗中心是大多数开放科学发生的地方。该领域的许多进展要归功于共享数据集，如 MIMIC-CXR（377,110 张胸部 X 光片）、The Cancer Imaging Archive、fastMRI 和 UK Biobank 影像部分，以及 MONAI、nnU-Net 和 3D Slicer 等开放工具。学术界也暴露了该领域的可信度问题。一项著名的 BMJ 综述（Nagendran 等，2020）对深度学习与临床医生影像研究进行了分析，发现 81 项研究中只有少数是前瞻性的或在真实临床环境中测试的，且 93% 和 95% 的研究无法获取代码和数据。这种可复现性债务直接源于影像数据难以共享和重跑。

医疗科技和设备公司（GE HealthCare、Siemens Healthineers、Philips、Canon）将 AI 直接构建到扫描仪中：缩短扫描时间的深度学习重建、剂量降低、设备端分诊。它们最难的问题是泛化。在一个厂商的扫描仪、场强和协议上训练的算法，在另一个厂商的设备上可能会悄然退化。整理代表真实世界的多中心训练数据，然后通过 510(k) 和 PMA 路径向监管机构证明，既是护城河也是成本。

制药和生物技术公司将影像视为测量工具。肿瘤试验依赖于标准化反应标准，如 RECIST、iRECIST 和 RANO，由中心盲法阅片以消除中心偏倚，定量影像生物标志物可以比基于大小的测量更早发现药物反应。除非一个测量在不同中心、扫描仪和时间上含义相同，否则这一切都不起作用，这就是为什么 RSNA 的 QIBA 编写规范，将采集和分析固定到声明的精度。变异性是试验终点的敌人。

四项不同的工作，一个共同的瓶颈。像素无处不在，却无处可查询。

为什么协作是全部关键，以及为什么它如此困难

没有任何单一机构拥有足够多样的数据来构建一个具有泛化能力的模型。迄今为止最强的协作研究恰好说明了这一点。在 EXAM 研究（Nature Medicine，2021）中，20 家机构训练了一个共享模型，从胸部 X 光片加 EMR 数据中预测 COVID-19 的氧气需求，而无需在它们之间移动任何患者数据。只有模型权重在传输，联邦模型相比单站点模型平均在 AUC 上提升了 16%，在泛化性上提升了 38%。其机制没有听起来那么奇特：每个站点在本地训练，协调方对模型权重而非数据进行平均（经典的联邦平均配方），而安全聚合和差分隐私确保任何单一站点的记录都无法从这些权重中被重建出来。

这就是承诺。现实是，协作确实困难，原因在于结构性的而非技术性的：

• 数据异质性。 不同的扫描仪、协议和标注惯例意味着“同一项”检查往往并非如此。联邦模型在这种非独立同分布、采集偏斜的数据上会退化，除非刻意通过批归一化平均或站点感知协调等技术来加以应对。
• 隐私与治理。 每一项跨机构研究都带来各站点的 IRB 批准、数据使用协议，以及必须站得住脚的去标识化。
• 没有共同的基础。 像 MIDRC（由 ACR、RSNA 和 AAPM 共同领导）这样的联盟之所以存在，正是因为录入、策展、去标识化、标注和共享如此困难，以至于需要一项专门的全国性努力。

影像领域的协作不是锦上添花。它是通往能在训练所在建筑之外起作用的模型的唯一路径，而它几乎完全受制于数据管道和治理。

领域外大多数人从未见过的复杂性

当人们说“医学图像”时，他们通常想到的是胸部 X 光片。现实是一个格式和尺度的动物园，让通用数据工具不堪重负。

“医学图像”不是一件事——它是一个格式和尺度的动物园。研究档案达到 PB 级，以至于大规模去标识化本身就是一个已发表的研究方向。

还有第二种复杂性会悄然破坏研究：数字本身在不同站点之间不可比。用两台扫描仪、两套协议测得的标准化摄取值或肿瘤体积，并不是同一种测量。这就是为什么定量影像要依赖 QIBA 配置文件这类标准以及 IBSI 对影像组学特征的定义，也是为什么通常出问题的是可重复性，而不是原始准确度。

一个只能处理一文件夹 JPEG 的工具无法应对其中任何一项，这在很大程度上解释了为什么影像在成为可分析就绪的数据方面落后于基因组学和 EHR 数据。

影像是一个更大问题最尖锐的边缘

当注意力只停留在影像上时，很容易忽略的一点是：这里的一切同样适用于其余研发领域。影像只是最先显现痛点的领域，因为它的数据最大、也最奇特。

今天走进一家生命科学研发机构，真正的前沿并不是任何单一数据类型。它是多组学——基因组学、转录组学、蛋白质组学和代谢组学，各自带着自己的格式和数据孤岛。它是真实世界数据和临床试验数据、EHR 和登记库以及波形。它是医学事务和文献。真正推动一个项目的问题——哪些患者有应答、为什么，影像加上分子特征再加上结局合在一起说明了什么——存在于这些领域之间的连接处，而不在任何一个领域内部。

上述每一种数据类型都带有影像所患的同一种病症。它丰富、高维、大多非结构化，被困在特定领域的系统中，难以治理，更难关联。一张全切片图像、一个基因组变异检出和一个试验终点，各自单独处理都已经够难了。价值来自把它们放进同一句话里。这首先是一个数据基础问题，然后才是一个 AI 问题，而这是团队最常低估的一点。

这不仅仅是一个医疗健康领域的故事。贝恩最近对为什么 AI 预算不断攀升而回报却不见增长的分析发现，数据获取与集成是 AI 面临的最大单一障碍，41% 的公司提到了这一点，而领导者提及它的频率甚至高于落后者。他们直白的说法是：大多数组织仍然无法可靠地访问自己的数据。医学只是让人更难对此视而不见。

第二部分——基础

从这里开始变得具体、也更技术化。对于不构建平台的读者，简短版本很简单：在一个地方治理一切，让像素可查询，大规模去标识化，并把影像与患者的其余数据关联起来。本节的其余部分讲的是如何做到。

数据基础实际必须做什么

剥去行业的具体细节，需求其实是一样的。平台必须：

1. 在一个地方治理非结构化的影像文件及其提取的元数据，并具备经得起监管机构质询的访问控制、血缘追踪和可审计性。
2. 处理 PB 级、十亿像素级、多维数据（2D X 光、3D CT/MRI 体数据、4D 动态研究、十亿像素病理切片）而不崩溃。
3. 大规模去标识化，既包括文件头，也包括像素。
4. 把影像与 EHR、基因组学、波形和文本关联起来，让单个研究问题能够触及所有这些数据。
5. 让跨机构共享成为一个配置步骤，而不是长达六个月的谈判。

这就是湖仓一体（lakehouse）的形态。下面用适用于 Databricks 的模式说明它在实践中如何落地。

面向像素的勋章架构（medallion architecture）

让影像数据变得易于处理的心智模型，与团队已经用于表格数据的同一套奖章模式（medallion pattern）相同，只是针对二进制文件做了适配。

• 青铜层：原始检查数据首先进入受限访问的云对象存储或 Volume，在那里先对文件头和像素运行去标识化任务；随后去标识化后的文件构成 Unity Catalog Volumes 中受治理的青铜层，每个文件对应一行目录记录，由 Auto Loader 处理增量到达，使新检查数据持续流入，而不是依赖脆弱的夜间批处理。
• 白银层：文本型的 DICOM 标签被提取到 Delta 表中（像素数据等二进制大对象仍留在文件里），于是原本被困在文件内部的元数据可以用普通 SQL 查询。正是这一步把“查看器能打开它”变成了“分析师能查询它”。开源 Pixels 加速器做的正是这件事，并行编目文件并大规模提取标签。
• 黄金层：经过整理、可直接用于分析的人群队列，与临床和组学表关联，可用于训练、BI 或面向监管机构的研究。

这件事之所以不简单，在于吞吐量。DICOM 解析库是单核的；诀窍在于把它们分布化。实践中这意味着用 pandas UDF 和 mapInPandas 将解析分散到集群上，或者使用自定义 Spark 数据源。在 Pixels 团队发表的工作中，一个 zipdcm 数据源直接从内存中的 zip 归档读取 DICOM 元数据，让原始文件保持压缩原地不动：它在两个 8 核 worker 上约 3.5 分钟内编目了超过 107,000 个 DICOM，比此前的方法快约 7 倍。瓶颈从磁盘和网络 I/O 转移到纯粹的 CPU 解析，而这正是集群擅长的事情。

经得起审计的治理

影像数据是终极的非结构化数据治理难题，也是大多数平台悄悄失败的要求。Unity Catalog Volumes 在三级命名空间下治理 S3、ADLS 或 GCS 中的原始文件，而提取出的元数据则落入 Delta。两者都处于同一个访问控制和血缘模型之下，该模型一直延伸到基于这些数据训练的模型，这正是几个月后仍能回答“谁接触过这个队列，又从中构建了什么”的原因。行级和列级安全以及基于属性的规则，让组织可以广泛暴露去标识化的元数据，同时将底层像素牢牢锁住。

去标识化才是真正见真章的地方。头部 PHI 通过格式保留加密处理，因此同一患者标识符始终映射到同一个假名。这个细节比看起来更重要：它意味着患者的 CT 仍能跨数据集关联到其病理和化验结果，而无需暴露真实标识符。DICOM 标准的保密性配置文件定义了哪些要剥离、哪些要保留。更难的问题是被烧录进像素里的 PHI，比如超声图像或扫描表单里嵌入的患者姓名。像 Presidio 这样的经典工具擅长处理自由文本，却对图像无能为力。去除这种烧录进像素的 PHI 是一个活跃的研究问题：近期工作表明，视觉语言模型在检测和遮蔽这类信息上已优于仅用 OCR 的流水线（Lee et al., Radiology 2025），而将 DICOM 元数据清理与针对烧录文本的定向 OCR 相结合的生产级去标识化方法，已在跨越十种模态的数十万张图像上得到验证（Macdonald et al., 2024）。对于像素，Pixels 团队发布了一个视觉语言模型流水线，将 OCR 与 VLM 结合，并通过 pandas UDF 分布式运行。在 MIDI-B 基准的均衡样本上，GPT-4o 和 Claude 3.7 Sonnet 达到了约 100% 的召回率和精确率，开源的 Llama 4 Maverick 以极低的成本实现了 100% 召回率，而 Spark 将 1,000 帧的去标识化从 105 分钟缩短到 6 分钟。该团队还在探索一种更精简、仅用 VLM 的方法以进一步推进。

训练与服务，构建在同一套受治理的数据之上

一旦像素可查询且受治理，ML 层就不再是难点。分割和分类模型与 MLflow 模型注册在同一个目录中，其血缘可追溯到训练所用的确切队列。具体到影像方面，NVIDIA MONAI 和 VISTA-3D（一个覆盖 127 个解剖类别的基础分割模型）可接入用于自动分割和微调，同时一个 OHIF 查看器嵌入在 Databricks App 中，使放射科医生或病理学家能在平台的安全模型下进行审阅、修正和重新标注。

MONAI Label 的主动学习循环意味着每次修正都会改进下一批结果，这正是团队摆脱“必须先有完全标注的数据集才能开始”这一困境的方式。推理既可以作为实时 GPU 模型服务运行（缩容到零，使不常用的模型不会一直占用 GPU），也可以作为跨数百万项研究的分布式批量推理运行。而且由于较新的 Pixels 工作提供了 DICOMweb 服务（QIDO-RS、WADO-RS、STOW-RS），湖仓可以直接融入临床或 PACS/VNA 工作流，而不是游离其外。

证明其安全性：验证、漂移与监管路径

训练一个模型只是起点，而非终点。一个在某个站点的扫描仪上表现良好的模型，在另一个站点上可能会悄然退化，因此真正的工作是跨站点、跨厂商、跨协议的外部验证，然后在扫描仪升级和生产环境中协议变化时监控漂移。MLflow 负责评估和跟踪；更难的纪律是将每个模型视为一个带版本的资产，并附上其队列、指标和审批。对于任何走向临床的东西，监管机构已经开始与自适应 AI 相向而行。FDA 的预定变更控制计划（PCCP）让团队可以预先指定模型如何重新训练和更新，而无需每次都重新提交，良好机器学习实践（GMLP）则为数据、验证和监控设定了期望。将这些护栏构建到数据基础中，而不是事后才加上去，正是区分演示和医院会部署的东西的关键。

不移动数据的协作

有两种互补的方式可以获得 EXAM 所表明必要的跨机构多样性，它们解决的是不同的问题。

联邦学习将数据物理上保留在原地，只移动模型权重，通过联邦平均来组合它们，并使用安全聚合加差分隐私来防止任何站点的数据泄露出去。当数据在法律上完全不能移动时，这是正确的工具。

湖仓增加了第二种在实践中通常更简单的选择：Delta Sharing 和 Clean Rooms 让机构可以共享受治理的表和文件（或对去标识化的队列进行联合分析），而无需复制任何东西，使用凭证分发而不是数据导出。对于许多多站点研究来说，“共享队列的受治理视图”比搭建一个联邦训练环要轻松得多，而且两者可以混合使用。

使影像多模态化

这是将影像从一种独立模态转变为患者一部分的要求。因为元数据只是 Delta，影像可以连接到来自 EHR 的 FHIR 和 HL7 数据流、基因组变异表、波形和临床文本，患者身份通过假名化层解析。像 OMOP 这样的通用数据模型为观察性数据提供了一个共享模式来落地。在此基础上，Vector Search 为语义检索索引嵌入（Pixels 甚至提供了一个函数，将纯英文术语映射到正确的 DICOM 标签），而像 Genie 这样的自然语言工具让科学家可以通过请求来构建队列，而不是编写 SQL。

生理波形是它们自己的一种数据。心电图、动脉压轨迹或 IVUS 或 OCT 回撤是每秒采样数百或数千次的高频时间序列，通常以 WFDB 等格式存储，而不是 DICOM。技术上的难点是对齐：回撤帧或心电搏动只有在与图像及其所属的临床事件时间同步时才有意义。做好这一点，重新采样、协调时间戳，并将序列存储在研究旁边，正是当问题是患者为什么有反应，而不仅仅是有没有反应时，会得到回报的那种连接。

嵌入还能解锁比搜索更强大的能力。基于配对扫描和报告训练的图像-文本模型（BiomedCLIP 和 CheXzero 系列工作）将图像和语言置于共享的向量空间中，因此系统可以检索相似病例、在没有显式标签的情况下标记发现，或者将生成模型建立在患者实际图像和既往报告之上，而非仅依赖其训练数据。最后这种模式——基于图像加报告的检索增强生成——正是让报告起草和病例总结可信到足以呈现给临床医生的关键：模型可以指出它看到了什么。只有当图像、报告及其嵌入处于同一个受治理的屋檐下时，这一切才能奏效，而这正是整篇文章的缩影。

这也是新一轮基础模型所需要的。Prov-GigaPath（Nature，2024）在来自 171,189 张全切片图像的 13 亿个图块上以自监督方式预训练，它只能处理大规模、多样化、受治理且多模态的数据。数据孤岛无法喂养它。湖仓可以。

回报：研究者的 AI 共同科学家，临床医生的伙伴

这一切的具象版本并不是取代任何人的自主系统。它是一个伙伴，是研究者的 AI 共同科学家，是临床医生的副驾驶，扎根于机构自身受治理的数据，而非开放互联网。

对于研究者，共同科学家智能体将一个问题转化为工作。让它“找出有基线 CT、匹配病理和 EGFR 状态的初治 NSCLC 患者，然后总结随访中病灶的变化”，它会规划步骤，通过 Genie 空间查询影像和临床表，用 Vector Search 检索相似病例，调用分割端点来测量病灶，并将其总结建立在相关文献之上，每一条论断都可追溯到它所使用的数据。

新兴的“AI 共同科学家”系统正是以此为目标：帮助生成和分诊假设，而不仅仅是回答查询。区分玩具与可信协作者的关键在于它是否建立在受治理的多模态数据之上。

对于临床医生，同样的机制变成了一个伙伴，承担放射科医生或肿瘤科医生原本需要手工完成的跑腿工作：调取患者的既往资料，测量并比较病灶，呈现适用的指南标准，并起草报告以供审核。它从不签字确认；人类才签字。这不是局限，而是设计。如今几乎所有获批的影像 AI 都是人类监督的，而一个展示其工作过程并引用来源的伙伴，才能让这种监督成为现实而非橡皮图章。

让两者中任何一个安全的是底层基础。智能体调用的每个工具都是一个受治理的对象——Unity Catalog 函数、模型服务端点、Vector Search 索引、Genie 空间——因此保护像素的同一套访问控制、血缘和代表身份也约束着智能体能看什么、能做什么。将专家——放射学智能体、基因组学智能体、医学事务智能体——组合在一个监督者之下，这个智能体团队就映射出数据基础已经使之成为可能的多模态连接。一旦基础正确，伙伴就是简单的部分。

超越影像：同一基础承载研发的其余部分

这件事在放射学之外同样重要的原因是，完全相同的架构可以吸纳其余的研发数据资产。多组学（基因组学、转录组学、蛋白质组学、代谢组学）与影像和临床数据一起进入同一个 Unity Catalog。它带来了自己特有的重型格式和标准：用于变异的 VCF、用于比对测序读段的 BAM 和 CRAM、保持它们可互操作的 GA4GH 规范，以及用于群体规模分析的 Glow 和 Hail 等引擎，但湖仓模式是完全相同的：治理文件、提取可查询层、将其与所有其他数据连接起来。

这也是 NVIDIA 技术栈（如 BioNeMo 和 NIM）接入序列和结构模型的地方。真实世界数据和临床试验数据、登记数据和波形数据无需导出即可与影像队列连接。医学事务和文献在同一治理体系以及相同的 AI/BI 和 Genie 界面下成为可查询的文本。那些向前推进的项目，那些回答哪些患者有响应以及为什么有响应的项目，就存在于这些领域之间的连接之中，而湖仓是一种罕见的架构，它能在同一个治理模型下容纳一张千兆像素切片、一个变异检出结果和一个试验终点，并让它们可以被一起查询。

归根结底

在这类数据之上构建 AI 和 GenAI 的团队不断遇到同样的教训。一个模型可以在一周内演示得很好。而之后需要数月的是把数据清理干净、关联起来、去标识化，并治理到足以在科学家或监管机构面前信任它的程度。数据问题并不是项目中不起眼的部分。它就是项目本身。

从同一组织内的影像、组学、临床和医学事务数据来看，结论很简单。医学影像的前沿不是更好的架构。而是更好的基础。算法已经存在。数据也存在，就在某处。一直缺失的是一种方法，让影像可治理、可查询、可关联、可共享，并与研究问题所触及的所有其他数据连接起来，同时不放弃医学所要求的隐私和严谨性。

在研发中胜出的团队不会是那些最先追逐模型的人。而是那些先把数据做对、让 AI 随之而来的人。解决了这一点，模型就会变成容易的部分，一如它本来的样子。

从哪里开始

测试这一点最快的方式就是在你自己的数据上。

• 从开源 Pixels 加速器开始（databricks-industry-solutions/pixels），把一文件夹的 DICOM 变成可治理、可查询的 Delta 表，并亲眼看到 medallion 模式的实际运作。
• 在 Databricks 上运行它。启动一个工作区，将 Unity Catalog Volumes 指向 TCIA 或 MIMIC-CXR 这样的公共数据集，并在引入受保护数据之前，端到端地搭建起摄取、去标识化和 OHIF 查看器。
• 深入了解这些数字背后的工程：上文链接的 7 倍摄取、VLM 去标识化和 MONAI/VISTA-3D 文章。
• 从一个队列扩展到整个数据资产。一旦单一研究类型被摄取、去标识化并连接到一个临床表，同样的模式就可以扩展到多组学、真实世界数据以及其上的智能体层。

如果你的团队正在 Databricks 上朝着医学影像或多模态研发方向构建，作者们希望了解你是如何着手的。请联系我们或留下评论，当你准备从试点走向生产时，Databricks 医疗与生命科学团队可以帮助你实现这一目标。