Databricks AI Search 原生支持 Streaming Tables、Materialized Views 与 Iceberg Managed 表
Building live intelligence: Databricks AI Search supports Streaming Tables, Materialized Views, and Managed tables using Iceberg
Databricks AI Search 现已原生支持 Streaming Tables、Materialized Views 和基于 Iceberg v3+ 的 Managed 表,此前仅支持 Delta 表。
AI Search 现已原生支持 使用 Iceberg v3+ 的流式表、物化视图和托管表,此外还支持 Delta 表。你可以将实时事件、持续维护的个性化状态以及开放格式数据直接引入 AI Search 应用,从而减少构建和管理独立管道以转换和同步这些数据源的开销。
三种表格式,更广阔的搜索应用世界
流式表、物化视图和托管 Iceberg 各自代表一种不同的数据处理方式,并且各自为 AI 应用开辟了新的可能性。
| 数据源 | 最适合 | 它能实现什么 |
|---|---|---|
| Delta 表(现有) | 数据与分析工作负载 | 广泛的分析与 AI 应用 |
| 流式表 | 持续到达的事件 | 欺诈检测、安全监控和实时 IoT 分析 |
| 物化视图 | 自定义聚合和连接的数据 | 个性化、会话感知搜索、坐席辅助 |
| 使用 Iceberg 的托管表 | 跨引擎的开放格式数据 | 跨引擎智能体、统一知识搜索、开放格式数据智能 |
流式表:驱动实时智能
持续变化的数据(例如新房源、库存、可用性和用户活动)可以流入仅追加的流式表,AI Search 会在新记录到达时对其进行索引,并保持搜索索引最新。这种新鲜度使最新数据能够直接影响搜索体验的应用成为可能:帮助用户通过搜索栏发现新上架的餐厅,或基于近期趋势生成实时推荐。
物化视图:用个性化上下文丰富搜索
物化视图可以聚合事件、筛选记录并连接多个来源的数据,以创建自定义状态。随着底层数据变化,视图会增量维护,AI Search 会将这些变化传播到索引,从而实现个性化搜索体验,例如会话感知推荐、基于近期活动的产品和内容发现,或根据用户不断变化的兴趣和偏好定制结果。
使用 Iceberg 的托管表:将开放格式数据引入搜索应用
托管 Iceberg 表可以直接作为 AI Search 源,无需转换或迁移到另一种表格式,从而使开放格式数据可供搜索索引和其他 AI 应用使用。开放格式使 AI 应用能够跨现有数据环境工作:搜索由不同系统管理的产品目录,统一存储在多个托管 Iceberg 表中的业务或客户数据,或在大型分布式数据集上构建搜索体验而无需移动底层数据。
让搜索原生适配你的数据:将数据直接连接到 AI Search
在原生支持之前,客户必须为流式表、物化视图或托管 Iceberg 表创建单独的 Delta 表示,并构建管道使其与源保持同步。这增加了额外的数据层、自定义更新逻辑和持续的运营开销。
现在,AI Search 可直接连接这些数据源。从你的数据源创建索引,并在需要时同步——AI Search 会直接将它们传播到索引中,省去中间 Delta 表和自定义同步管道。随着数据演进,你的数据始终保持与搜索连接,平台在后台处理底层管道。

立即开始构建:一个工作流,覆盖更多数据源
无论使用 UI 还是 API,构建 AI Search 索引都遵循与现有 Delta 表数据源相同的工作流:创建 Delta Sync 索引并将其指向你的源表。同一工作流现已扩展到 Streaming Tables、Materialized Views 和 Iceberg 表——无需学习新工作流。

准备好在你的数据上构建 AI 应用了吗?直接从你的 Streaming Tables、Materialized Views 或 Managed Iceberg 表创建 AI Search 索引即可开始——无需额外的数据管道。探索 AI Search 文档。
来源:Databricks Blog · databricks.com