跳到正文
Databricks Blog·· 2 天前AI 评分28

Databricks Lakehouse//RT 地理空间查询最高提速 38 倍

Geospatial queries are up to 38X faster with Lakehouse//RT

AI 导读

Databricks 的 Lakehouse//RT 现已支持 Spatial SQL 与空间 join,在高并发下地理空间查询最高比传统云数据仓库快 38 倍。基于 SpatialBench 的测试显示,单查询并发下最高快 20 倍,即便剔除提升最大的查询,平均仍快 3.5 倍以上,且无需修改代码或新增许可。该功能目前处于 Beta 阶段。

正文 · AI 翻译

空间 SQL 和空间连接现在可在 Lakehouse//RT 上运行,它们比传统云数据仓库快达 38 倍。

今年早些时候,我们在 Databricks 上实现了空间 SQL 的正式发布:这包括对 GEOMETRY 数据类型的支持、100 多个空间函数、高性能空间连接、AI/BI 地图、Delta Sharing。GEOMETRY 和 GEOGRAPHY 数据类型是开放湖仓的一部分,在 Apache Spark 中可用,并受 Delta 和 Iceberg v3 使用的相同底层 parquet 文件支持。保险、农业、能源、电信、零售、物流等行业的客户已采用它,将地理空间工作负载整合到单一受治理的平台上。

同时拥有空间 OLAP 工作负载和实时基于位置应用程序的组织希望获得出色的性能和高并发。其中许多组织仍然依赖传统数据仓库,并为空间应用程序构建专门的架构,有时为了满足延迟要求,每个用例都要管理一个以 PostGIS 为中心的独立技术栈。独立的技术栈会导致更多的数据副本、更多的同步管道和更多的治理开销。

Databricks 现在支持地理空间工作负载的 4 大支柱:Lakehouse 用于长时间运行的空间 OLAP 工作负载,Lakebase 用于空间 OLTP、应用程序和代理,Databricks Apps 用于专门构建的体验,以及现在的Lakehouse//RT 仓库 用于实时分析。

本博客介绍 Lakehouse//RT 为空间工作负载提供的功能,在高并发下带来高达 38 倍的性能提升。

2026 年 10 月 Lakehouse//RT 上的地理空间性能

我们使用SpatialBench,在一系列空间查询上对 Lakehouse//RT 与传统云数据仓库进行了基准测试。相比之下,Lakehouse//RT 在测试的查询中平均快 3 倍,最高快 20 倍。

Bar chart showing Lakehouse//RT spatial query speedup versus a traditional data warehouse, up to 20x faster

在高负载下,性能差异更加显著。在 50 个并发用户时,对于传统仓库能够跟上的查询,Lakehouse//RT 的性能提升高达 38 倍。

Bar chart showing Lakehouse//RT spatial query speedup versus a traditional data warehouse, up to 38x faster with 50 concurrent users.

亲自尝试:按照 SpatialBench 文档,从此页面生成基准查询中使用的合成数据。

看看查询 #8。为了遵循最佳实践,建议移除将存储为 well-known binary 的数据进行转换的 ST_GeomFromWKB 调用,转而使用原生 GEOMETRY 数据类型。使用原生数据类型可实现查询优化和文件跳过,从而提供最佳性能。

三个要点:

  1. Lakehouse//RT 快达 38 倍,在高并发下保持性能。即使去掉最显著的查询改进,平均加速也超过 3.5 倍。
  2. Lakehouse//RT 在单查询并发下快达 20 倍。每个空间基准查询在 Lakehouse//RT 上都更快。
  3. 无需更改查询或申请新许可证。 空间工作负载在 Databricks 上可移植;你今天在 SQL Serverless 上运行的相同空间查询,无需更改代码即可在 Lakehouse//RT 上运行。 

受益于 Lakehouse//RT 的空间 SQL 用例

GIF showing examples of spatial use cases in oil and telecom

Databricks 上的空间 SQL 已服务于广泛的行业。借助 Lakehouse//RT,工作负载可以以应用所需的实时速度运行。以下是几个示例:

  • 电信和零售: 评估覆盖区域内订户的信号健康状况,并评估新店址的商圈重叠情况。
  • 能源和自然资源: 将井位与土地租约相交、将管道线路与适宜性走廊相交,并将可再生能源场址与地形和基础设施相交。
  • 保险和风险: 将保单与预测的风暴路径匹配,计算处于风险中的保险价值,并向再保险合作伙伴提供实时预报更新。
  • 物流和配送: 即时将订单分配到最近的服务区域。 
  • 安全和可观测性: 将威胁信号与地理边界关联,并以高并发向仪表板和代理提供点在多边形内的查找。

在实时数据仓库上开始使用空间 SQL

Lakehouse//RT 上的空间 SQL 现已推出 Beta 版。要开始使用:

  1. 从 SQL Warehouses 页面创建一个 Lakehouse//RT 实时仓库
  2. 运行你现有的空间查询;无需更改代码
  3. 浏览 空间 SQL 文档以获取完整的函数参考

常见问题

什么是 Lakehouse//RT?

在 Data + AI Summit 2026 上,我们 推出了 Lakehouse//RT,这是 Databricks 的新 实时数据仓库,旨在直接在你的 湖仓数据上以大规模并发提供毫秒级查询性能。Lakehouse//RT 旨在解决一个特定问题:随着组织在用户、应用、仪表板和 AI 代理之间扩展数据访问,他们需要实时响应能力,而无需将数据复制到单独的服务层。预览客户发现,与实时服务层相比,Lakehouse//RT 的整体性能显著更好,延迟低至 10ms,并发高达每秒 12,000 次查询。

我可以在湖仓上实时运行空间 SQL 吗?

可以。空间 SQL 和空间连接现在可在 Lakehouse//RT 上运行,因此你可以直接在受治理的 Delta 和 Iceberg 表上以低延迟和高并发提供地理空间查询。无需将数据复制到单独的地理空间系统或实时分析服务层。

我需要更改我的查询吗?

不需要。你今天在 Databricks SQL Serverless 上运行的相同空间函数和空间连接,无需更改代码即可在 Lakehouse//RT 上运行。你只需创建一个 Lakehouse//RT 仓库并将现有查询指向它,即可获得速度提升。

Lakehouse//RT 对空间查询的提速有多大?

在与传统数据仓库的对比基准测试中,Lakehouse//RT 在高负载下运行空间查询的速度最高可提升 38 倍。即使排除增幅最大的情况,基准查询的平均速度也提升了 3.5 倍。 

Lakehouse//RT 上的 Spatial SQL 现在可用吗?

Spatial SQL 和空间连接已在 Lakehouse//RT 上以 Beta 版提供。要开始使用,请从 SQL Warehouses 页面创建 Lakehouse//RT 仓库,无需更改代码即可运行您现有的空间查询。

如果我使用 H3 网格系统对数据进行了建模,我可以在 Lakehouse//RT 上使用 H3 函数以及 Spatial SQL 函数吗? 

可以。Databricks Lakehouse 支持的所有 H3 表达式目前均受 Lakehouse//RT 支持。阅读更多关于 H3 的内容 here。

AI/BI 是否支持使用 Geometry 和 Geography 数据类型的地图?

可以。您可以在 AI/BI 仪表板中创建使用原生 geometry 和 geography 数据类型的地图。阅读更多内容 here。

来源:Databricks Blog · databricks.com