Databricks Lakehouse Federation：不迁移数据也能做投资分析

Lakehouse Federation：随处查询，无需移动数据

在当今的企业环境中，数据很少只存在于一个地方。金融机构、资产管理公司和个体投资者面临一个共同的挑战：他们最敏感的数据，包括投资组合持仓、交易头寸和客户信息，往往位于企业防火墙后的本地数据库中、云端，或同时存在于这两种环境中。这一挑战还因另一个事实而加剧：他们分析所需的第三方数据，包括市场数据、分析师预期和财务基本面，越来越多地存在于云端。

传统方法迫使人们做出一个令人不安的选择：将敏感数据复制到云端、搭建脆弱的 ETL 管道，或者干脆放弃将两者集成。

如果你可以直接联合本地数据源、订阅云端的第三方数据，并直接从这两个目录生成仪表板和自然语言对话，中间没有管道、没有物化视图、也没有持久化对象，会怎样？

这就是最简单的 Databricks Lakehouse Federation。

解决方案：随处查询，无需移动数据，无需构建任何东西

Databricks Lakehouse Federation 让你可以创建到外部数据库（如 SQL Server、PostgreSQL、MySQL、Snowflake 等）的联合连接，并使用标准 SQL 直接从 Databricks 查询它们。数据完全留在原处。无需复制。无需同步。没有合规麻烦。

再在其上添加一个市场数据共享，你就有两个目录并排位于 Unity Catalog 中——一个是联合的，一个是共享的，一个普通的 SQL 查询就能像连接任意两个普通表一样连接它们。

真实示例：客户投资组合分析

让我们走一遍一个具体示例。假设你是一家财富管理公司，拥有：

• 第一方数据：你的投资组合持仓——你持有哪些股票以及持有多少股，存储在本地 SQL Server 数据库中。
• 第三方数据：来自 Databricks Marketplace 的 FactSet 财务数据，包括盈利基本面和分析师预期。

你的目标：构建一个投资仪表板，显示你的预测盈利、识别高风险头寸并推荐操作，同时不将你的持仓数据暴露到云端。

第 1 步：设置对投资组合数据和 FactSet 数据的访问

第 1a 步：设置联合连接

通过 Databricks UI 设置联合非常简单。导航到 Catalog → External Data → Connections，并创建一个到本地数据库的新连接。

该连接会安全地存储你的凭据。

第 1b 步：创建外部目录

连接建立后，创建一个映射到本地数据库的外部目录。这会让你的外部表显示为原生 Unity Catalog 对象。

完成此步骤后，你的本地数据会显示为一个目录，但数据永远不会离开你的 SQL Server。每个查询都会实时针对源执行。

第 1c 步：从 Marketplace 订阅 FactSet 数据

Databricks Marketplace 提供对 FactSet 全面财务数据的即时访问。搜索 FactSet，查看可用数据集，并请求访问。提供商批准你的请求后，你就可以订阅相关数据集。

订阅后，数据会作为共享目录在你的工作区中可用，并按架构组织：

• fe_v4 - FactSet Estimates：分析师一致预期 EPS 预测、盈利预测及预测数量
• ff_v3 - FactSet Fundamentals：年度财务报表，包括营收、净利润、利润率和债务水平
• sym_v1 - Symbology：股票代码到实体的映射，将你的投资组合代码连接到 FactSet 的内部标识符

这些表与你的联邦投资组合目录一同出现在 Unity Catalog 中。你可以浏览它们、预览数据并检查模式，全程无需任何数据摄取或数据复制。

第 2 步：探索组合数据

第 2a 步：使用 SQL 探索组合数据

两个数据源均可通过 Unity Catalog 访问后，资产管理人员可以打开 SQL 编辑器，编写一个同时跨越两者的查询——一侧是联邦持仓，另一侧是 FactSet 市场数据表。对 SQL 编写者而言，它们看起来就像同一仓库中的两张普通表。

无需编写管道，无需调度物化视图，也无需维护金层。每次运行查询时，它都会实时重新联邦查询本地数据源，并重新将其与市场数据共享进行连接。

第 3 步：消费数据

第 3a 步：创建投资仪表板

该仪表板由同一个组合查询驱动，该查询直接内联到每个小组件的数据集中。不创建视图，也不持久化任何表。每个小组件在每次刷新时都会重新联邦查询源数据。

它能即时回答如下问题：

• 投资组合健康状况：总持仓、当前年度盈利、预计年度盈利、高风险数量
• 风险分布：投资组合中高风险 / 中风险 / 低风险各占多少？
• 投资建议：有多少股票应增持、多少应减持？
• 表现最佳者：哪些持仓产生的盈利最多，当前盈利与预计盈利相比如何？
• 完整持仓表：每只股票的盈利、增长率 %、利润率 %、D/E、风险及操作建议。

第 3b 步：使用 Genie 启用自然语言查询

最后一步：一个 Genie 代理直接连接到相同的联邦持仓和 FactSet 市场数据表。Genie 在其指令中接收连接链和数据质量过滤器。它将自然语言转换为仪表板所运行的相同查询。

结果：数据访问民主化。投资组合经理、财务顾问和个人投资者都能获得答案，无需编写 SQL，也无需任何人物化任何内容。

完整图景

Databricks Lakehouse Federation 从根本上改变了混合数据分析的经济性。无需经历将数据迁移到云端的昂贵、高风险且耗时的过程，也无需承担在其之上构建和维护管道的同样繁重的工作，你可以将计算带到数据所在之处，让单个查询驱动所有下游环节。

在此示例中，该演练构建了一个完整的投资分析解决方案，它：

• 实时查询本地持仓数据
• 用来自 Marketplace 的 FactSet 财务情报对其进行丰富
• 在单个 SQL 查询中组合两者，不持久化任何中间对象
• 在交互式仪表板中可视化一切
• 使用 Genie 启用自然语言查询

全程未将任何一行投资组合数据复制到云端。

数据分析的未来不是把所有数据迁移到一个地方，也不是构建复杂的管道来重塑数据。而是随时随地查询数据所在之处。虽然这篇博客以投资组合为例，但这种模式——联合敏感的第一方数据、订阅基于云的第三方数据，并在不移动或复制任何内容的情况下进行分析——具有广泛的适用性。医疗机构可以将受 HIPAA 保护的患者记录与药物相互作用数据库联合起来，以提供治疗建议。制造企业可以将本地物联网遥测数据与基于云的供应链数据联合起来。零售商可以将店内 POS 系统与第三方人口统计数据结合起来。共同点在于：敏感的第一方数据保持受保护，同时能够利用第三方数据进行丰富的分析。

准备好开始了吗？请浏览以下链接：

• 设置联合 — 按照Lakehouse Federation 文档连接您的外部数据库
• 浏览市场 — 在marketplace.databricks.com浏览可用的数据产品
• 创建仪表板 — 使用AI/BI 仪表板可视化洞察
• 启用 Genie — 让您的用户用自然语言提问
• 在 GitHub 上查看完整代码 — 本博客的代码