Databricks 用 OpenSharing 打通 AWS HealthLake,Genie One 支持自然语言查询临床数据
Talk to your clinical data: unlocking AWS HealthLake with OpenSharing and Genie One
Databricks 通过 OpenSharing 实现与 AWS HealthLake 的首次集成,用户可在 Databricks 中直接查询 HealthLake 的 FHIR 数据,无需导出管道或数据复制。
许多医疗保健和生命科学组织已标准化采用 AWS HealthLake 来管理临床数据,但要将这些数据扩展到其他平台用于分析和 AI,传统上需要付出更多努力。对于希望将 HealthLake 中的数据与外部分析工具结合使用的公司,这一过程需要构建导出管道、复制数据,并在每个位置分别管理治理。这限制了 HealthLake 管理的 FHIR 数据在其他工具和平台之间的互操作性。
在本博客中,我们介绍一种利用 OpenSharing(Linux 基金会 AI & Data 项目)的新解决方案,实现 HealthLake 与 Databricks 之间首次此类集成。该架构允许用户从 Databricks 实时查询 HealthLake 数据,将 Databricks 的治理、分析和 AI 能力引入临床数据集。通过与 HealthLake 集成,Databricks 可以帮助组织从 FHIR 数据中挖掘更深入的洞察,并为更广泛的分析和 AI 用例打开大门。此外,现在可以通过 Genie One 以自然语言探索相同的临床数据,让用户无需专门的技术工作流或数据复制即可获得洞察。
临床数据分析中的当前挑战
快速医疗保健互操作性资源(FHIR)标准是一种数据格式,用于在不同应用和护理环境之间交换健康信息。AWS HealthLake 是一项托管医疗保健数据服务,用于存储和处理 FHIR 格式的数据。医疗保健组织通常使用 HealthLake 来规范化这些 FHIR 数据,同时也使用其符合标准的 API 来访问患者记录、观察和就诊等资源。
HealthLake 将其分析表作为 Apache Iceberg 表存储在由 HealthLake 服务拥有的 Amazon S3 存储桶中。客户 IAM 角色无法直接读取该存储桶,因此 Unity Catalog 等外部工具没有直接路径访问底层数据。因此,此前要在外部平台上分析这些数据,需要先通过导出管道将 FHIR 数据从 HealthLake 复制出来,然后才能查询。
虽然许多组织依赖 HealthLake 专为 FHIR 构建的数据存储,但为其扩展治理、分析和自然语言探索能力一直不太直接。这一与 Databricks 的新集成从这些临床数据中解锁了有价值的新洞察。
将 Databricks 引入 HealthLake 数据
我们的新集成如下图所示,使用 OpenSharing 安全地暴露 HealthLake 中的数据,无需任何导出管道或数据复制。这使得 HealthLake 数据可以被 Databricks 直接读取,并由 Unity Catalog 作为共享目录进行治理。
目前,HealthLake 提供对其底层 Iceberg 表直接访问的唯一方式,是通过 Lake Formation 生成的临时凭证,而 Unity Catalog 无法自行请求这些凭证。本解决方案通过一个以 Databricks App 形式运行的自定义 OpenSharing 服务器填补了这一空白,该 App 是一种完全托管的无服务器部署。在每次表请求时,服务器使用 Lake Formation 凭证,解析该表当前的 Iceberg 快照,预签名数据文件,并以标准 OpenSharing 响应返回它们。随后 Databricks 计算直接从 S3 读取这些文件,因此没有数据经过服务器。AWS 通过 OIDC 联合信任该 App 自身的 Databricks 身份,从而保护敏感医疗数据。Databricks 像挂载任何其他共享一样在 Unity Catalog 中挂载该共享,使数据可用于受治理的分析、笔记本、仪表板、AI,以及通过 Genie One 进行的自然语言探索。
使用 Databricks 扩展 HealthLake 的优势
通过 Unity Catalog 实现受治理的访问
现在 HealthLake 数据可在 Databricks 中读取,组织可以将其临床数据直接纳入 Unity Catalog 治理之下。Unity Catalog 成为访问入口,通过共享目录上的授权、细粒度访问控制(FGAC)、基于属性的访问控制(ABAC)和基于角色的访问控制(RBAC)来指定谁有权查看和查询每张表。访问和使用情况也可以像 Unity Catalog 中的任何其他数据资产一样被审计,使临床数据更易于治理和保护。
使用 Genie One 进行自然语言探索
同样的共享数据现在可以为 Databricks 中的 Genie One 提供支持,将 HealthLake 数据的分析扩展到技术水平较低的用户。这意味着临床分析师、运营团队或战略领导者现在可以直接探索 HealthLake 数据,而无需向数据团队提交工单或等待自定义报告。
组织可以通过定义核心临床表、添加通俗语言描述,并教它们如何定义和解释诸如 A1C 之类的临床概念,在共享目录上创建和策划 Genie Agent。然后用户可以提出诸如“平均 A1C 按月趋势如何?”之类的问题,Genie One 会理解上下文,找到策划好的 Genie Agent,生成 SQL,并返回带有表格和图表的汇总答案,同时遵守 Unity Catalog 权限。以前需要 SQL 技能或创建自定义仪表板才能回答的问题,现在可以在几秒钟内得到答案,而 HealthLake 管理的 FHIR 数据中的洞察也变得可供更广泛的临床、运营和业务用户访问。
为 HealthLake 客户解锁新机遇
此集成将 HealthLake 扩展到传统上可用的分析路径之外。组织不再需要将数据复制并导出到外部分析工具,也不再需要仅依赖 Athena 或 Redshift 进行分析。相反,用户现在可以选择直接在 Databricks 中处理 HealthLake 数据,用于受治理的分析、笔记本、仪表板和 AI,从临床数据中解锁新的价值和洞察。
对于管理复杂临床数据环境的 Databricks 客户而言,这一潜力尤为显著。借助该解决方案,医疗健康和生命科学客户现在可以在 HealthLake 中的临床数据之上应用 Databricks 原生能力。通过打通 HealthLake 与 Databricks 的集成路径,这些客户现在能够以业务所需的速度加速推进,而无需再承受以往管理复杂数据管道的摩擦。这为 HealthLake 与 Databricks 的共同客户开启了新的用例。通过与 Databricks 建立集成路径,该解决方案可帮助医疗健康和生命科学组织从其 HealthLake 数据中获取额外价值,加速整个领域的分析与洞察。
开始使用
与你的临床数据对话:立即使用我们完整的参考实现,将 AWS HealthLake 数据连接到 Databricks。该实现是一个以 Declarative Automation Bundle 形式部署的 OpenSharing 服务器,可在官方 Databricks Industry Solutions 仓库中获取。
来源:Databricks Blog · databricks.com