用 Databricks Feature Views 构建实时 next-best-offer 推荐系统
Build a real-time next-best-offer recommender using Databricks Feature Views
Databricks 发布开源 Solution Accelerator,用 Feature Views 为零售银行构建实时 next-best-offer 推荐系统,特征只需声明一次即可同时用于训练与在线服务。
实时个性化取决于能否理解客户当下的需求。当零售银行客户查看账户、浏览信用卡或打开贷款计算器时,每一次交互都传递出他们当前的意图。相关的优惠需要在客户仍处于会话中时触达他们。
难点在于如何让模型获取这种意图。原始点击流数据必须聚合为按时间窗口划分的特征,用于两个目的:基于历史值在特定时间点的状态进行训练,以及使用当前值以毫秒级延迟提供预测。分别构建这些管道会产生重复的特征定义,这些定义可能随时间漂移并降低模型准确率。
Databricks Feature Views 通过让您为训练和提供预测各定义一次特征来解决这个问题。在本博客中,我们将介绍一个开源 Solution Accelerator,它使用 Feature Views 为金融服务构建实时下一最佳优惠(NBO)推荐系统。

该加速器包含两部分:一个使用批量特征的推荐系统,以及一个添加流式会话内意图的扩展。两者均在 Databricks 上端到端构建,并附带可克隆和部署的可运行 notebook。
用于训练和提供预测的一致、实时特征
实时推荐既需要一致性,也需要速度。特征在训练和提供预测期间必须以相同方式计算,以避免训练/服务偏差,这种偏差会降低模型准确率。在推理时,这些特征还必须在毫秒内完成检索和评分。
传统上,要同时满足这两项要求意味着维护两套独立系统:用于训练特征的批量管道和用于在线服务的手写流式作业。这会产生重复逻辑,并可能随时间漂移。
Feature Views 消除了对单独特征定义的需求。您只需声明一次逻辑,Databricks 便会在训练和提供预测中复用它:
- 批量特征 会物化到离线 Delta 表,用于时间点正确的训练,并物化到在线存储,用于低延迟服务。
- 流式特征 会持续聚合到在线存储中,而历史值则从源事件按时间点计算用于训练。与批量特征不同,它们不会物化到离线存储。
在训练时,create_training_set API 会检索每个带标签事件当时存在的特征值,防止未来数据泄漏。在推理时,Model Serving 端点使用 customer_id 从在线存储获取批量特征。
两个工作流使用相同的特征定义,避免分别实现的离线和在线转换之间出现不一致。
实时下一最佳优惠推荐
该加速器为零售银行实现了实时下一最佳优惠(NBO)推荐系统。当客户浏览账户、探索信用卡或使用贷款计算器时,系统会对优惠目录进行排序,包括信用卡升级、储蓄产品和个人贷款,以在会话期间推荐最相关的选项。
推荐系统将稳定的客户上下文(如余额、消费、客户年限和风险等级)与会话内意图的近期点击流活动相结合。单个排序模型同时使用这两类数据,而 Feature Views 确保特征定义在离线训练和在线服务之间保持一致。
我们如何构建它
该加速器包含三个步骤,以可运行的 notebook 形式交付,分为两部分,共享同一 catalog、schema、在线存储和特征定义。

步骤 1:定义批量和流式特征
Feature Views 让你可以用相同的方式在批量表和实时 Kafka 流上声明特征:
特征 | 声明方式 | 为模型提供什么 |
30 天平均余额 |
| 滚动行为 |
90 天消费 |
| 固定周期行为 |
忠诚度等级、风险等级、收入、客户年限 |
| 稳定的客户上下文 |
最近 10 分钟内的品类浏览 |
| 最新的会话内意图 |
30 天品类兴趣 |
| 长窗口,新鲜的前沿 |
支出收入比 |
| 派生特征,按请求计算 |
对于流式特征,将声明指向 Kafka topic 而不是表。Feature Views 会持续将事件聚合到在线存储中,无需单独手写流式作业或重复的特征逻辑。
SawtoothWindow 让更长的流式窗口变得可行。例如,30 天品类计数会随着新事件到达而保持新鲜,而无需为每个事件重新计算整个历史。
步骤 2:使用时间点正确的特征进行训练
使用 Feature Engineering SDK,时间点连接会重建每个特征在历史标签对应时刻的值,防止未来数据泄漏。生成的训练集输入到注册在 Unity Catalog 中的 LightGBM 排序器。
由于训练和服务使用相同的特征声明,特征不会因分别实现的离线和在线转换而产生偏差。
步骤 3:实时提供推荐
排序器运行在路由优化的 Model Serving 端点上。每个请求包含 {customer_id, candidate offers, session context}。该端点按 key 从在线存储中检索客户特征,并直接对所有 40 个优惠进行评分,无需额外的候选缩减步骤。
第二个路由优化的 Feature Serving 端点暴露特征值,使应用能够展示为何选择某个优惠,而无需直接查询在线存储。

基准测试延迟、特征新鲜度和吞吐量
对于实时推荐系统,两项测量最为重要:一次点击多快能成为模型可见的特征,以及训练和服务是否产生相同的特征值。
我们使用其最小配置对加速器进行了端到端基准测试:一个小型服务端点和单节点在线存储,未做调优。流式事件在约十分之一秒内变为模型可见,而训练和服务路径产生了相同的值。
每组柱状图显示中位数(p50)和95百分位(p95)延迟。前两组测量请求延迟,可直接比较。第三组测量特征新鲜度,即从事件摄取到在线可用的时间,而非用户等待的时间。虚线标记两条服务路径均满足的50毫秒预算。
一次完整的排序请求(包括在线特征检索和推理)在最小端点规格下可控制在50毫秒预算内。加入实时流式特征仅增加3-4毫秒延迟。
吞吐量与容量规划
排序端点持续处理约每秒56个请求(RPS),而特征服务端点在p95延迟超过50毫秒前持续处理约390 RPS。
实测吞吐量与并发数除以服务时间的偏差在15%以内,提供了实用的容量规划公式:
required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)
基于这些结果,要在50毫秒p95服务等级目标(SLO)内支持每秒150个排序请求,需要并发数为12。
我们如何测量
我们使用了加速器的基准测试笔记本,端点已预热,客户端位于同一区域,负载较轻。请求键按Zipfian分布分配给2,000个客户以增加缓存未命中,排序延迟测得 p50为33毫秒,p95为48毫秒。
我们按事件测量特征新鲜度,即从Kafka写入到该值可在在线存储中读取的时间。为保持一致,我们使用空值安全相等比较了每个客户的离线物化值与在线存储值。
这些结果有两个局限。第一,排序端点使用缩容到零,因此空闲期后的第一个请求可能产生数十秒的冷启动。第二,报告的延迟合并了特征检索和推理。因此27毫秒的测量值不能直接与仅报告特征读取延迟的基准测试相比较。
商业价值:更快的迭代,可衡量的结果
该加速器展示了一个可运行的实时推荐系统,而非已证实的收入提升。由于使用合成数据,我们不声称转化率有所改善。相反,它为团队提供了一个衡量业务影响的起点。
- 更少的管道维护:单一特征层取代了三个手工维护的管道。批处理、流处理和 serving 共享声明式定义,并在 Unity Catalog 中提供治理和血缘追踪,以支持受监管金融服务中的审计。
- 更快的实施:克隆仓库、部署 bundle 并运行。第1部分提供带在线特征查找的受治理排序器,第2部分则无需单独的特征栈即可添加实时会话内意图。
- A/B测试基线:使用每个合格会话的增量接受报价和下游贡献毛利,将流式意图感知排序器与仅批处理模型进行比较,并以投诉率和退出率作为护栏指标。
在生产之前,团队还必须实施资格、同意、适当性和抑制控制。对报价进行排序是建模步骤,而非最终的报价决策。该加速器展示了特征工程和 serving 基础设施,而非这些业务规则。
开始使用解决方案加速器
该加速器让您可以从批量特征入手,然后添加实时流式处理,而无需重建特征基础设施。
- 第 1 部分 — Feature Views 基础: 克隆仓库,配置 Databricks CLI 配置文件,部署 bundle 并运行第 1 部分,以构建具有在线特征查找功能的受治理排序器。
- 第 2 部分 — 实时流式处理: 配置 Unity Catalog Kafka 连接和 Amazon MSK 可达性,然后运行第 2 部分。这会复用第 1 部分的目录、特征、在线存储和排序器。
- 演示和监控: 启动推荐器 Databricks 应用并打开 AI/BI 延迟仪表板。
使用 Declarative Automation Bundles (DABs) 部署该加速器:
部署顺序很重要: 该应用依赖于第 2 部分的服务端点,而这些端点由 notebook 在运行时创建。请先部署作业,运行第 1 部分和第 2 部分,然后部署应用。所有内容都在由 Unity Catalog 治理的无服务器计算上运行。
详细了解 Feature Views
Feature Views 让您只需定义一次特征,即可在 AWS、Azure 和 GCP 上用于时间点正确的训练和低延迟在线服务。探索该加速器,了解批量和流式特征如何在实时推荐器中结合。
常见问题
什么是 Feature Views?
Feature Views 让您只需定义一次特征转换,即可在模型训练和在线服务中复用。它们支持批量和流式特征,为训练提供时间点正确的历史值,并为推理提供对当前值的低延迟访问。
Feature Views 如何防止训练/服务偏差?
Feature Views 在训练和服务之间使用共享的特征定义,避免因维护单独的转换逻辑而导致的不一致。create_training_set API 还使用时间点连接来重建每个历史标签当时存在的特征值,从而防止未来数据泄漏。
Feature Views 能否支持实时流式特征?
可以。Feature Views 可以持续将 Kafka 中的事件聚合到在线存储中,而无需单独手写流式作业。该加速器使用 RollingWindow 处理近期会话活动,并使用 SawtoothWindow 处理更长的历史窗口,以此进行演示。
next-best-offer 加速器能达到什么性能?
在基准配置中,排序端点实现了 34 ms 的 p95 延迟,包括在线特征检索和推理。排序端点持续处理约每秒 56 个请求,而 Feature Serving 端点在超过 50 ms p95 延迟预算之前持续处理约每秒 390 个请求。
运行 next-best-offer 加速器需要什么?
你需要一个 Databricks 工作区、一个已配置的 Databricks CLI 配置文件以及该加速器的 GitHub 仓库。第 1 部分使用 Declarative Automation Bundles 部署批量特征推荐器。第 2 部分还需要 Unity Catalog Kafka 连接和 Amazon MSK 连接,以纳入实时会话活动。
来源:Databricks Blog · databricks.com