跳到正文
Databricks Blog·· 5 小时前AI 评分36

Databricks AI Search 原生支持 Streaming Tables、Materialized Views 与 Iceberg Managed 表

Building live intelligence: Databricks AI Search supports Streaming Tables, Materialized Views, and Managed tables using Iceberg

AI 导读

Databricks AI Search 现已原生支持 Streaming Tables、Materialized Views 和基于 Iceberg v3+ 的 Managed 表,此前仅支持 Delta 表。

正文 · AI 翻译

AI Search 现已原生支持 使用 Iceberg v3+ 的流式表、物化视图和托管表,此外还支持 Delta 表。你可以将实时事件、持续维护的个性化状态以及开放格式数据直接引入 AI Search 应用,从而减少构建和管理独立管道以转换和同步这些数据源的开销。

三种表格式,更广阔的搜索应用世界

流式表、物化视图和托管 Iceberg 各自代表一种不同的数据处理方式,并且各自为 AI 应用开辟了新的可能性。

数据源最适合它能实现什么
Delta 表(现有)数据与分析工作负载广泛的分析与 AI 应用
流式表持续到达的事件欺诈检测、安全监控和实时 IoT 分析
物化视图自定义聚合和连接的数据个性化、会话感知搜索、坐席辅助
使用 Iceberg 的托管表跨引擎的开放格式数据跨引擎智能体、统一知识搜索、开放格式数据智能

流式表:驱动实时智能

持续变化的数据(例如新房源、库存、可用性和用户活动)可以流入仅追加的流式表,AI Search 会在新记录到达时对其进行索引,并保持搜索索引最新。这种新鲜度使最新数据能够直接影响搜索体验的应用成为可能:帮助用户通过搜索栏发现新上架的餐厅,或基于近期趋势生成实时推荐。

物化视图:用个性化上下文丰富搜索 

物化视图可以聚合事件、筛选记录并连接多个来源的数据,以创建自定义状态。随着底层数据变化,视图会增量维护,AI Search 会将这些变化传播到索引,从而实现个性化搜索体验,例如会话感知推荐、基于近期活动的产品和内容发现,或根据用户不断变化的兴趣和偏好定制结果。

使用 Iceberg 的托管表:将开放格式数据引入搜索应用

托管 Iceberg 表可以直接作为 AI Search 源,无需转换或迁移到另一种表格式,从而使开放格式数据可供搜索索引和其他 AI 应用使用。开放格式使 AI 应用能够跨现有数据环境工作:搜索由不同系统管理的产品目录,统一存储在多个托管 Iceberg 表中的业务或客户数据,或在大型分布式数据集上构建搜索体验而无需移动底层数据。

让搜索原生适配你的数据:将数据直接连接到 AI Search

在原生支持之前,客户必须为流式表、物化视图或托管 Iceberg 表创建单独的 Delta 表示,并构建管道使其与源保持同步。这增加了额外的数据层、自定义更新逻辑和持续的运营开销。 

现在,AI Search 可直接连接这些数据源。从你的数据源创建索引,并在需要时同步——AI Search 会直接将它们传播到索引中,省去中间 Delta 表和自定义同步管道。随着数据演进,你的数据始终保持与搜索连接,平台在后台处理底层管道。

立即开始构建:一个工作流,覆盖更多数据源

无论使用 UI 还是 API,构建 AI Search 索引都遵循与现有 Delta 表数据源相同的工作流:创建 Delta Sync 索引并将其指向你的源表。同一工作流现已扩展到 Streaming Tables、Materialized Views 和 Iceberg 表——无需学习新工作流。

准备好在你的数据上构建 AI 应用了吗?直接从你的 Streaming Tables、Materialized Views 或 Managed Iceberg 表创建 AI Search 索引即可开始——无需额外的数据管道。探索 AI Search 文档。

来源:Databricks Blog · databricks.com