Databricks Unity Catalog 与 Google Cloud Borderless Lakehouse 实现双向目录互操作
Advancing Catalog Interoperability with Unity Catalog and Google Cloud’s Borderless Lakehouse
Databricks 与 Google Cloud 宣布在目录互操作上取得里程碑:客户现在可从 Unity Catalog 和 Google Cloud 的 borderless Lakehouse 访问同一份数据副本,实现双向联邦。
了解 Databricks 和 Google 如何通过开放标准推进互操作性。
作者: Parth Desai、Alex Jiang 和 John Spencer
Lakehouse 架构正变得前所未有的开放。从开放表格式——Delta Lake 和 Iceberg——起步,如今已演进为目录联合,实现跨多个平台的零拷贝访问。通过我们的合作和开源贡献,Databricks 和 Google Cloud 持续推动 Open Lakehouse 社区的进步。
今天,我们很自豪地宣布与 Google 合作在目录互操作性方面取得的重要里程碑:客户现在可以从 Unity Catalog 和 Google Cloud 的 无边界 Lakehouse 访问同一份数据副本。Databricks 与 Google Cloud 的合作持续蓬勃发展,我们致力于让双向互操作无缝实现。
Unity Catalog 与 Google Cloud 的 Lakehouse:双向联合
将 Google Cloud 的数据引入 Databricks 非常简单。通过 Lakehouse Federation 到 Google Cloud,客户可以将由 Google Cloud 的 Lakehouse 运行时目录管理的 Iceberg 表挂载到 Unity Catalog 中,以便在 Databricks 中进行分析。
这些来自 Google Lakehouse 运行时目录的 Iceberg 表随后可由 Databricks Lakehouse(我们的无服务器数据仓库)查询,或通过 Genie 进行分析,后者能智能地用自然语言回答数据问题——无需代码或 SQL。
互操作性在另一个方向同样有效。来自 Databricks 的数据也可以引入 Google Cloud 的 Lakehouse(了解更多)。这使得使用 BigQuery 等引擎的客户无需复制数据即可读取 Unity Catalog 管理的表。
下一个前沿:让目录元数据可互操作
Databricks 和 Google Cloud 正通过让目录元数据开放,在加强互操作性方面迈出重大步伐。我们相信,业务和治理语义应当可被访问,而不是绑定到特定供应商。在 Iceberg 社区中,我们帮助推动并落地了目录标签——一项使目录能够通过键值对(即标签)共享元数据的提案。这样一来,标记为 "domain=finance" 和 "status=certified" 的表,以及标记为 "pii=ssn" 的列,即使表从一个目录联合到另一个目录,其标签仍会保留(了解更多)。

在智能体时代,共享标签对治理至关重要,因为目录元数据可用于标记敏感数据以进行掩码,并为搜索资产以回答数据问题的智能体提供上下文。通过我们的合作,Databricks 和 Google Cloud 致力于推进开放治理的愿景。随着数据资产规模增长以及 AI 智能体更深入地融入企业工作流,这一共同承诺变得愈发重要。我们正迈向一个未来:治理和业务上下文可以随数据一同流转,而无需企业在每个系统中重新定义它们。
立即开始
阅读我们的文档,开始使用 Unity Catalog 与 Google Cloud 无边界 Lakehouse 之间的目录联合。你也可以在此了解更多关于 Google 的目录联合到 Unity Catalog 的信息。
如果你有兴趣分享你的互操作性需求或进一步了解我们的互操作性愿景,请联系你的 Databricks 客户团队。
来源:Databricks Blog · databricks.com