Databricks Lakehouse Federation：不迁移数据也能做投资分析

Databricks：Blog·2026-10-28 02:00· 1 小时前AI 评分42

无需迁移数据即可解锁投资洞察：Lakehouse Federation

AI 导读

Databricks Lakehouse Federation 支持通过标准 SQL 直接查询 SQL Server、PostgreSQL、MySQL、Snowflake 等外部数据库，数据留在原处，无需复制或同步。

正文 · 原文

Lakehouse Federation：随处查询，无需移动

在当今的企业环境中，数据很少只存在于一个地方。金融机构、资产管理公司和个体投资者面临一个共同的挑战：他们最敏感的数据，包括投资组合持仓、交易头寸和客户信息，通常位于企业防火墙后的本地数据库中、云端，或同时存在于这两种环境中。这一挑战还因另一个事实而加剧：他们分析所需的第三方数据，包括市场数据、分析师预测和财务基本面，越来越多地存在于云端。

传统方法迫使人们做出一个令人不安的选择：将敏感数据复制到云端、搭建脆弱的 ETL 管道，或者干脆放弃整合这两者。

如果你可以直接联邦查询本地数据源、订阅云端的第三方数据，并直接从这两个目录生成仪表板和自然语言对话，中间没有管道、没有物化视图、也没有持久化对象，会怎样？

这就是 Databricks Lakehouse Federation 最简单的形态。

解决方案：随处查询，无需移动，无需构建

Databricks Lakehouse Federation 让你可以创建到 SQL Server、PostgreSQL、MySQL、Snowflake 等外部数据库的联邦连接，并使用标准 SQL 直接从 Databricks 查询它们。数据完全留在原处。无需复制。无需同步。没有合规烦恼。

在此基础上再添加一个市场数据共享，你就在 Unity Catalog 中拥有了并排的两个目录——一个是联邦的，一个是共享的，一条普通的 SQL 查询就能像连接任意两张普通表一样连接它们。

真实案例：客户投资组合分析

让我们来看一个具体例子。假设你是一家财富管理公司，拥有：

• 第一方数据：你的投资组合持仓——你持有哪些股票以及持有多少股，存储在本地 SQL Server 数据库中。
• 第三方数据：来自 Databricks Marketplace 的 FactSet 财务数据，包括盈利基本面和分析师预测。

你的目标：构建一个投资仪表板，展示你的预测盈利、识别高风险头寸并推荐行动，同时不将你的持仓数据暴露到云端。

第 1 步：设置对投资组合数据和 FactSet 数据的访问

第 1a 步：设置联邦连接

通过 Databricks UI 设置联邦非常简单。导航到 Catalog → External Data → Connections，并创建一个到本地数据库的新连接。

该连接会安全地存储你的凭据。

第 1b 步：创建外部目录

连接建立后，创建一个映射到本地数据库的外部目录。这会让你的外部表显示为原生 Unity Catalog 对象。

完成此步骤后，你的本地数据会显示为一个目录，但数据永远不会离开你的 SQL Server。每个查询都会实时针对源执行。

第 1c 步：从 Marketplace 订阅 FactSet 数据

Databricks Marketplace 提供对 FactSet 全面金融数据的即时访问。搜索 FactSet，查看可用的数据集，并申请访问权限。一旦提供商批准您的请求，您就可以订阅相关数据集。

订阅后，数据将作为共享目录在工作区中可用，并按架构组织：

• fe_v4 - FactSet Estimates：分析师一致预期 EPS 预测、盈利预测和预估数量
• ff_v3 - FactSet Fundamentals：年度财务报表，包括收入、净利润、利润率和债务水平
• sym_v1 - Symbology：将您的投资组合代码连接到 FactSet 内部标识符的代码到实体映射

这些表与您的联合投资组合目录一起显示在 Unity Catalog 中。您可以浏览它们、预览数据并检查架构，全程无需任何数据摄取或数据复制。

第 2 步：探索组合数据

第 2a 步：使用 SQL 探索组合数据

由于两个数据源都可通过 Unity Catalog 访问，资产管理者可以打开 SQL 编辑器，编写一个同时跨越两者的查询：一侧是联合持仓，另一侧是 FactSet 市场表。对 SQL 作者来说，它们看起来就像同一数据仓库中的两张普通表。

无需编写管道，无需调度物化视图，也无需维护黄金层。每次运行查询时，它都会实时重新联合本地数据源，并重新将其与市场共享数据连接。

第 3 步：使用数据

第 3a 步：创建投资仪表板

该仪表板由直接内联到每个小组件数据集中的同一组合查询提供支持。不会创建视图，也不会持久化任何表。每个小组件在每次刷新时都会重新联合数据源。

它可以即时回答如下问题：

• 投资组合健康状况：总持仓、当前年度收益、预计年度收益、高风险数量
• 风险分布：投资组合中高风险/中风险/低风险各占多少？
• 投资建议：有多少股票应增持而非减持？
• 表现最佳者：哪些持仓产生的收益最多，当前收益与预计收益相比如何？
• 完整持仓表：每只股票的收益、增长率 %、利润率 %、D/E、风险和行动建议。

第 3b 步：使用 Genie 启用自然语言查询

最后一部分：一个直接连接到同一联合持仓和 FactSet 市场表的 Genie 代理。Genie 在其指令中接收连接链和数据质量过滤器。它将自然语言转换为仪表板所运行的相同查询。

结果是：数据访问民主化。投资组合经理、财务顾问和个人投资者都可以在不编写 SQL 的情况下获得答案，而且无需任何人物化任何内容。

完整图景

Databricks Lakehouse Federation 从根本上改变了混合数据分析的经济性。无需采用昂贵、高风险且耗时的数据迁移到云端的流程，也无需在其上构建和维护管道的同样繁重流程，您可以改为将计算带到数据处，并让单个查询驱动所有下游流程。

在此示例中，该演练构建了一个完整的投资分析解决方案，它可以：

• 实时查询本地持仓数据
• 使用来自 Marketplace 的 FactSet 金融智能数据对其进行丰富
• 在单个 SQL 查询中合并两者，无需持久化中间对象
• 在交互式仪表板中可视化一切
• 通过 Genie 实现自然语言查询

全程无需将任何一行投资组合数据复制到云端。

数据分析的未来不在于将所有数据迁移到一个地方，也不在于构建复杂的管道来重塑数据。而在于随时随地查询数据所在之处。虽然本博客以投资组合为例，但这种模式——联合敏感的第一方数据、订阅基于云的第三方数据，并在不移动或复制任何内容的情况下进行分析——具有广泛的适用性。医疗机构可以将受 HIPAA 保护的患者记录与药物相互作用数据库连接起来，以提供治疗建议。制造企业可以将本地 IoT 遥测数据与基于云的供应链数据联合起来。零售商可以将店内 POS 系统与第三方人口统计数据结合起来。共同点在于：敏感的第一方数据保持受保护状态，同时能够利用第三方数据进行丰富的分析。

准备好开始了吗？探索以下链接：

• 设置联合 — 按照Lakehouse Federation 文档连接您的外部数据库
• 浏览市场 — 在marketplace.databricks.com浏览可用的数据产品
• 创建仪表板 — 使用AI/BI 仪表板可视化洞察
• 启用 Genie — 让您的用户用自然语言提问
• 在 GitHub 上查看完整代码 — 本博客的代码

来源：Databricks：Blog · databricks.com