跳到正文
Databricks Blog·· 5 小时前AI 评分22

Databricks 打包式洁净室如何将 RampID 引入湖仓

How packaged clean rooms bring RampID to your lakehouse

AI 导读

Databricks 推出打包式洁净室(packaged clean room),让 LiveRamp 的身份解析服务直接进入客户湖仓,客户 PII 无需离开自有存储即可获得 RampID 匹配结果。

正文 · AI 翻译

合作伙伴身份解析过去意味着要将你的 PII 发送给供应商

过去在 Databricks 上,要将客户记录解析为基于个人的 ID(例如 RampID),数据团队必须将 PII 导出到外部服务,等待匹配文件,然后再将其加载回来。每一步都增加了一条需要维护的管道、一份需要治理的敏感数据副本,以及结果可用前的延迟。打包式干净房间通过消除这种往返需求,打破了这一传统模式。

Databricks 上的 LiveRamp 嵌入式身份将身份服务带到数据所在之处。任何人都可以利用 LiveRamp 的身份解析解决方案,而无需让其宝贵的客户数据离开自有存储。只需最少的设置,客户即可在其分析和 AI 工作负载已经运行的环境中收到解析后的 RampID 列表,同时保持 Unity Catalog 治理。这些附加到客户数据上的 RampID 成为高影响力下游用例的匹配键,例如: 

  1. 一家发布商基于 Databricks 中的已认证观看数据构建体育迷细分群体。在与一家汽车广告主的 CRM 获得批准的匹配后,它可以估算出属于广告主潜在客户池中的体育迷受众规模,并排除现有客户。
     
  2. 一家代理机构将参与发布商的流媒体和数字曝光日志与一家零售商的忠诚度关联购买数据汇集在一个受治理的协作中。在合作伙伴拥有兼容且已授权的 RampID 的情况下,该代理机构可以对这些购买进行跨渠道触达去重,并报告有多少曝光购物者完成了购买。通过对照组,它还可以估算增量销售额,并利用该证据为下一次预算分配提供依据。 

什么是打包式干净房间

Databricks 干净房间是一个安全环境,两方或多方可以在其中对其合并数据运行经批准的代码,而不会向彼此泄露原始数据或 IP。计算发生在一个由 Databricks 管理的隔离环境中,任何一方都不管理该环境。

在标准(基于审批的)Databricks 干净房间中,每个协作者都是对等的。协作者可以添加数据(表格或非结构化)和/或代码,并且所有各方都必须批准代码后才能运行。协作者永远不会看到彼此的数据,但他们确实会看到共享进来的表的别名,以及其列名和类型。这适用于联合分析,例如两家公司共同衡量受众重叠。即使在基于审批的房间中,一方也可以通过打包卷来将部分逻辑保密,这样审批者审查的是调用该库的 notebook,而不是库本身。 

打包式干净房间 将隐私扩展到整个分析过程,并适用于不同的关系。一方是身份提供商(在本例中为 LiveRamp),将分析作为产品交付,另一方是客户,针对自己的数据运行该分析。没有审批步骤,双方完全看不到对方的数据资产,甚至连表名或模式都看不到。提供商可以将同一个包提供给许多客户,每个客户都在单独的干净房间中,每个客户都能获得无需审查的即用型运行。这允许跨多个客户进行可扩展部署,并简化了客户的体验。 

对于身份解析场景,打包的干净室(clean room)尤其合理,因为这种隔离能同时保护双方。 LiveRamp 的身份图谱和匹配逻辑仍是其知识产权,对客户不可见。客户的 PII 和解析结果仍对客户私有。

架构详解

共有三个组件,每个都有明确的角色:

  • LiveRamp(提供方): 提供身份解析服务(数据)以及执行解析的代码(notebooks、JARs)。
  • 客户: 创建干净室,添加其输入表和配置表,触发运行,并接收结果。
  • Databricks(平台): 托管并隔离干净室,并管理其运行所用的计算资源。干净室的创建者为此计算付费。 

中央干净室

中央干净室是一切发生的地方。它是一个由 Databricks 管理的环境,独立于客户和 LiveRamp 的工作区,两家公司的任何人都没有它的管理访问权限。

  • 位置: 中央干净室创建在创建者所选的区域。客户创建干净室,因此可以将其放在与其数据相同的云和区域,以帮助减少出网流量。
  • 计算: 每次运行都会在中央干净室内启动无服务器计算,并在运行结束时释放。该计算可纵向和横向扩展,自动匹配工作负载需求,不会留下任何空闲计算。
  • 数据访问: 各方的资产通过 OpenSharing 以只读方式共享到中央干净室。数据保留在其源存储中,不会向另一协作方交付任何副本。
  • 防火墙存储: 如果客户的表位于存储防火墙或私有端点之后,SecureConnect 会通过一个隔离的、由 Databricks 管理的代理来中转访问,使干净室的计算能够访问数据而无需开放网络。

OpenSharing 如何将各方连接到干净室

OpenSharing(前身为 Delta Sharing)是 Databricks Clean Rooms 所基于的开放共享协议。双方都不会将自己的表复制到干净室。相反,客户和 LiveRamp 各自添加 Unity Catalog 资产,OpenSharing 授予中央干净室对这些资产的只读访问权限。由于 OpenSharing 实时共享表而无需复制,每次运行读取的都是客户输入表的当前版本,而不是上周的提取数据。 

该连接利用 Databricks 到 Databricks 的共享,因此在双方都保留 Unity Catalog 治理:提供方控制其暴露哪些资产,客户控制其添加哪些表,共享活动对双方均可审计。OpenSharing 承载的也不只是表。它可以共享模型、非结构化数据、JAR 文件、私有库、python wheels 等。正是这种灵活性使 LiveRamp 能够交付其身份解析服务的所有组件。

一次运行的逐步过程

  1. 客户只需点击几下即可创建 LiveRamp 打包式洁净室,无需预置基础设施或安装代码。获批后,LiveRamp 会将其资产添加到洁净室中。客户可以看到分析名称,但看不到其内容。
  2. 客户按照 LiveRamp 的文档格式,添加触点输入表(例如姓名、电子邮件、电话号码,以及地址或设备标识符)、属性表和元数据表。
  3. 客户选择一个用于存放结果的输出目录并触发运行。LiveRamp 的代码在中央洁净室的无服务器计算环境中运行,并可在其中读取双方的资产。
  4. 解析后的 RampID 会写入客户的输出 schema,只有客户可以读取。输出返回前会剥离 PII。
  5. 客户从自己的 Unity Catalog 读取输出,并将 RampID 带入下游工作:客户 360 表、受众构建、激活、合作伙伴协作和衡量。

End-to-end flow of how LiveRamp Embedded Identity runs inside Databricks Clean Rooms

两个输出 schema:结果和日志

一次运行会写入两个 schema:

  • 输出 schema(仅客户): 保存身份解析结果。仅在运行成功完成后共享,且仅共享到客户的工作区,LiveRamp 无法读取。
  • 共享输出 schema(双方): LiveRamp 的代码在此写入运行指标和诊断日志等操作信息。每个协作者都会在自己的工作区中获得共享输出 schema,并从自己的 Unity Catalog 读取。无论最终运行状态如何,该 schema 都会在运行执行期间共享。

两者都通过相同的 OpenSharing 机制交付到各自(客户/提供商)拥有的环境,并写入设置时指定的目录,可在 Catalog Explorer 的“已接收的共享”部分找到。这些内容可立即查询和使用。如需长期使用(超过 30 天),需要将这些表复制到客户自己的云存储中。

共享运行历史和审计跟踪

客户和 LiveRamp 都可以查看每次运行的历史记录,包括状态、时间和运行所用的 notebook。由于客户拥有数据而 LiveRamp 拥有代码,当运行失败时,任何一方都无法单独掌握全貌。共享的运行状态视图加上共享输出 schema,使双方团队能够基于相同事实进行故障排查,而不会暴露数据。洁净室活动也会记录在各自系统的表中(system.access.clean_room_events),从而形成审计跟踪。

在数据所在之处进行身份解析

打包式洁净室将身份解析变成数据团队运行的东西,而不是需要维护的管道。LiveRamp 将其身份解析逻辑作为产品交付,客户通过 OpenSharing 对实时、受治理的数据运行该逻辑,中央洁净室则让双方的数据和代码彼此保持私密。

结果是在客户自己的 Unity Catalog 中生成一张 RampID 表,可直接用于客户 360、受众构建、激活、合作伙伴协作和衡量。无需安排导出,无需等待匹配文件,也无需治理额外的 PII 副本。

开始使用

  1. 请告知您的 LiveRamp 和 Databricks 客户团队,您希望采用嵌入式身份打包洁净室方案。
  2. 如果您的源存储位于防火墙或私有端点之后,请配置 SecureConnect 并更新您的存储防火墙规则。
  3. 按照 LiveRamp 规定的格式准备您的客户数据和元数据表。
  4. 创建 LiveRamp 打包洁净室(Catalog > Share > Clean Rooms > 在“Identity Resolution Providers”下选择 LiveRamp 磁贴),配置您的输出架构,添加您的表,然后运行它。

有关完整的设置步骤,请参阅 LiveRamp 的指南“在 Databricks 中执行 RampID 身份解析”以及 Databricks 打包洁净室文档。
 

常见问题

什么是 Databricks 中的打包洁净室?

打包洁净室是 Databricks Clean Rooms 的一种模式,其中一方(提供方)提供分析,另一方(客户方)在不查看代码的情况下针对自己的数据运行该分析。双方都无法看到对方的数据资产,代码在由 Databricks 管理、双方均不管理的中央洁净室中的无服务器计算上运行。LiveRamp Embedded Identity 使用此模式:LiveRamp 提供身份图谱和解析代码,客户方运行它以获得 RampID。

打包洁净室与标准 Databricks 洁净室有何不同?

在标准的、基于审批的洁净室中,每个协作者都是对等的:任何人都可以添加数据或笔记本,审批者可以阅读笔记本源代码,并且每个笔记本在运行前都需要审批。在打包洁净室中,只有提供方添加代码,客户方可以看到笔记本和 JAR 的名称但看不到其内容,并且没有审批步骤,因为客户方无法审查代码。只有客户方触发运行并接收输出,而双方都可以看到运行历史和用于日志的共享输出架构。

当我在 Databricks 洁净室中运行身份解析时,LiveRamp 会看到我的数据吗?

不会。您的表保留在您自己的云存储中,OpenSharing 在 Unity Catalog 治理下授予中央洁净室只读访问权限,解析后的 RampID 会写入只有您能读取的输出架构。LiveRamp 可以在共享运行历史和共享输出架构中看到运行状态,其代码会在其中写入您也能收到的指标和日志。LiveRamp 的代码确实会调用 LiveRamp 的身份服务进行身份验证,而洁净室的出口网络策略(显示在 Security 选项卡上)会管控它还能访问哪些其他内容。

在 Databricks 上运行 LiveRamp Embedded Identity 需要什么?

需要一份带有 Identity API 凭据的 LiveRamp 协议、一个 Unity Catalog 工作区,以及 CREATE CLEAN ROOM 权限。你需要准备一张包含 PII 触点的输入表,以及一张按 LiveRamp 文档所述格式保存 LiveRamp 凭据和运行设置的元数据表,然后在 Identity Resolution Providers 下从 LiveRamp 磁贴创建洁净室,并选择一个中央洁净室区域。如果你的存储位于防火墙或私有端点之后,请先启用 SecureConnect。输出表会保留 30 天,因此请将你需要保留的结果复制到你自己的目录中。

Databricks 洁净室由谁付费,如何计费?

洁净室的创建者支付计算费用。计算按 Jobs Serverless 费率计费,并且仅在每次运行时启动,因此没有需要维护的空闲环境。 

准备好将 RampID 引入你的湖仓了吗? 

如果你已经在使用 LiveRamp,请向你的 LiveRamp 代表咨询 Databricks 上的 Embedded Identity,然后按照 LiveRamp 的 指南准备你的表并创建洁净室。如果你刚接触 Databricks Clean Rooms,请从打包洁净室 文档开始,或浏览 Databricks Marketplace 上的 LiveRamp Identity Resolution and Translation 列表以了解更多关于该产品的信息。如果你不是当前的 LiveRamp 客户或需要更多信息,请联系 databricks@liveramp.com。

来源:Databricks Blog · databricks.com