跳到正文
Databricks Blog·· 1 天前AI 评分34

用 Databricks Feature Views 构建实时 next-best-offer 推荐系统

Build a real-time next-best-offer recommender using Databricks Feature Views

AI 导读

Databricks 发布开源 Solution Accelerator,用 Feature Views 为零售银行构建实时 next-best-offer 推荐系统,特征只需声明一次即可同时用于训练与在线服务。

正文 · AI 翻译

实时个性化取决于能否理解客户当下的需求。当零售银行客户查看账户、浏览信用卡或打开贷款计算器时,每一次交互都传递出他们当前的意图。相关的优惠需要在客户仍处于会话中时触达他们。

难点在于如何让模型获取这种意图。原始点击流数据必须聚合为按时间窗口划分的特征,用于两个目的:基于历史值在特定时间点的状态进行训练,以及使用当前值以毫秒级延迟提供预测。分别构建这些管道会产生重复的特征定义,这些定义可能随时间漂移并降低模型准确率。

Databricks Feature Views 通过让您为训练和提供预测各定义一次特征来解决这个问题。在本博客中,我们将介绍一个开源 Solution Accelerator,它使用 Feature Views 为金融服务构建实时下一最佳优惠(NBO)推荐系统。 

该加速器包含两部分:一个使用批量特征的推荐系统,以及一个添加流式会话内意图的扩展。两者均在 Databricks 上端到端构建,并附带可克隆和部署的可运行 notebook。

用于训练和提供预测的一致、实时特征

实时推荐既需要一致性,也需要速度。特征在训练和提供预测期间必须以相同方式计算,以避免训练/服务偏差,这种偏差会降低模型准确率。在推理时,这些特征还必须在毫秒内完成检索和评分。

传统上,要同时满足这两项要求意味着维护两套独立系统:用于训练特征的批量管道和用于在线服务的手写流式作业。这会产生重复逻辑,并可能随时间漂移。

Feature Views 消除了对单独特征定义的需求。您只需声明一次逻辑,Databricks 便会在训练和提供预测中复用它:

  • 批量特征 会物化到离线 Delta 表,用于时间点正确的训练,并物化到在线存储,用于低延迟服务。
  • 流式特征 会持续聚合到在线存储中,而历史值则从源事件按时间点计算用于训练。与批量特征不同,它们不会物化到离线存储。

在训练时,create_training_set API 会检索每个带标签事件当时存在的特征值,防止未来数据泄漏。在推理时,Model Serving 端点使用 customer_id 从在线存储获取批量特征。

两个工作流使用相同的特征定义,避免分别实现的离线和在线转换之间出现不一致。

实时下一最佳优惠推荐

该加速器为零售银行实现了实时下一最佳优惠(NBO)推荐系统。当客户浏览账户、探索信用卡或使用贷款计算器时,系统会对优惠目录进行排序,包括信用卡升级、储蓄产品和个人贷款,以在会话期间推荐最相关的选项。

推荐系统将稳定的客户上下文(如余额、消费、客户年限和风险等级)与会话内意图的近期点击流活动相结合。单个排序模型同时使用这两类数据,而 Feature Views 确保特征定义在离线训练和在线服务之间保持一致。

我们如何构建它

该加速器包含三个步骤,以可运行的 notebook 形式交付,分为两部分,共享同一 catalog、schema、在线存储和特征定义。

步骤 1:定义批量和流式特征

Feature Views 让你可以用相同的方式在批量表和实时 Kafka 流上声明特征:

特征

声明方式

为模型提供什么

30 天平均余额

SlidingWindow

滚动行为 

90 天消费

TumblingWindow

固定周期行为

忠诚度等级、风险等级、收入、客户年限

ColumnSelection

稳定的客户上下文

最近 10 分钟内的品类浏览

RollingWindow 在流上

最新的会话内意图

30 天品类兴趣

SawtoothWindow

长窗口,新鲜的前沿

支出收入比

CustomUDF

派生特征,按请求计算

对于流式特征,将声明指向 Kafka topic 而不是表。Feature Views 会持续将事件聚合到在线存储中,无需单独手写流式作业或重复的特征逻辑。

SawtoothWindow 让更长的流式窗口变得可行。例如,30 天品类计数会随着新事件到达而保持新鲜,而无需为每个事件重新计算整个历史。

步骤 2:使用时间点正确的特征进行训练

使用 Feature Engineering SDK,时间点连接会重建每个特征在历史标签对应时刻的值,防止未来数据泄漏。生成的训练集输入到注册在 Unity Catalog 中的 LightGBM 排序器。

由于训练和服务使用相同的特征声明,特征不会因分别实现的离线和在线转换而产生偏差。

步骤 3:实时提供推荐

排序器运行在路由优化的 Model Serving 端点上。每个请求包含 {customer_id, candidate offers, session context}。该端点按 key 从在线存储中检索客户特征,并直接对所有 40 个优惠进行评分,无需额外的候选缩减步骤。

第二个路由优化的 Feature Serving 端点暴露特征值,使应用能够展示为何选择某个优惠,而无需直接查询在线存储。

基准测试延迟、特征新鲜度和吞吐量

对于实时推荐系统,两项测量最为重要:一次点击多快能成为模型可见的特征,以及训练和服务是否产生相同的特征值。

我们使用其最小配置对加速器进行了端到端基准测试:一个小型服务端点和单节点在线存储,未做调优。流式事件在约十分之一秒内变为模型可见,而训练和服务路径产生了相同的值。

图 1:定义实时推荐系统的三种延迟

每组柱状图显示中位数(p50)和95百分位(p95)延迟。前两组测量请求延迟,可直接比较。第三组测量特征新鲜度,即从事件摄取到在线可用的时间,而非用户等待的时间。虚线标记两条服务路径均满足的50毫秒预算。

一次完整的排序请求(包括在线特征检索和推理)在最小端点规格下可控制在50毫秒预算内。加入实时流式特征仅增加3-4毫秒延迟。

吞吐量与容量规划

排序端点持续处理约每秒56个请求(RPS),而特征服务端点在p95延迟超过50毫秒前持续处理约390 RPS。

实测吞吐量与并发数除以服务时间的偏差在15%以内,提供了实用的容量规划公式:

required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)

基于这些结果,要在50毫秒p95服务等级目标(SLO)内支持每秒150个排序请求,需要并发数为12。

我们如何测量

我们使用了加速器的基准测试笔记本,端点已预热,客户端位于同一区域,负载较轻。请求键按Zipfian分布分配给2,000个客户以增加缓存未命中,排序延迟测得 p50为33毫秒,p95为48毫秒。

我们按事件测量特征新鲜度,即从Kafka写入到该值可在在线存储中读取的时间。为保持一致,我们使用空值安全相等比较了每个客户的离线物化值与在线存储值。

这些结果有两个局限。第一,排序端点使用缩容到零,因此空闲期后的第一个请求可能产生数十秒的冷启动。第二,报告的延迟合并了特征检索和推理。因此27毫秒的测量值不能直接与仅报告特征读取延迟的基准测试相比较。

商业价值:更快的迭代,可衡量的结果

该加速器展示了一个可运行的实时推荐系统,而非已证实的收入提升。由于使用合成数据,我们不声称转化率有所改善。相反,它为团队提供了一个衡量业务影响的起点。

  • 更少的管道维护:单一特征层取代了三个手工维护的管道。批处理、流处理和 serving 共享声明式定义,并在 Unity Catalog 中提供治理和血缘追踪,以支持受监管金融服务中的审计。
  • 更快的实施:克隆仓库、部署 bundle 并运行。第1部分提供带在线特征查找的受治理排序器,第2部分则无需单独的特征栈即可添加实时会话内意图。
  • A/B测试基线:使用每个合格会话的增量接受报价和下游贡献毛利,将流式意图感知排序器与仅批处理模型进行比较,并以投诉率和退出率作为护栏指标。

在生产之前,团队还必须实施资格、同意、适当性和抑制控制。对报价进行排序是建模步骤,而非最终的报价决策。该加速器展示了特征工程和 serving 基础设施,而非这些业务规则。

开始使用解决方案加速器

该加速器让您可以从批量特征入手,然后添加实时流式处理,而无需重建特征基础设施。

  • 第 1 部分 — Feature Views 基础: 克隆仓库,配置 Databricks CLI 配置文件,部署 bundle 并运行第 1 部分,以构建具有在线特征查找功能的受治理排序器。
  • 第 2 部分 — 实时流式处理: 配置 Unity Catalog Kafka 连接和 Amazon MSK 可达性,然后运行第 2 部分。这会复用第 1 部分的目录、特征、在线存储和排序器。
  • 演示和监控: 启动推荐器 Databricks 应用并打开 AI/BI 延迟仪表板。

使用 Declarative Automation Bundles (DABs) 部署该加速器:

部署顺序很重要: 该应用依赖于第 2 部分的服务端点,而这些端点由 notebook 在运行时创建。请先部署作业,运行第 1 部分和第 2 部分,然后部署应用。所有内容都在由 Unity Catalog 治理的无服务器计算上运行。

详细了解 Feature Views

Feature Views 让您只需定义一次特征,即可在 AWS、Azure 和 GCP 上用于时间点正确的训练和低延迟在线服务。探索该加速器,了解批量和流式特征如何在实时推荐器中结合。

常见问题

什么是 Feature Views?

Feature Views 让您只需定义一次特征转换,即可在模型训练和在线服务中复用。它们支持批量和流式特征,为训练提供时间点正确的历史值,并为推理提供对当前值的低延迟访问。

Feature Views 如何防止训练/服务偏差?

Feature Views 在训练和服务之间使用共享的特征定义,避免因维护单独的转换逻辑而导致的不一致。create_training_set API 还使用时间点连接来重建每个历史标签当时存在的特征值,从而防止未来数据泄漏。

Feature Views 能否支持实时流式特征?

可以。Feature Views 可以持续将 Kafka 中的事件聚合到在线存储中,而无需单独手写流式作业。该加速器使用 RollingWindow 处理近期会话活动,并使用 SawtoothWindow 处理更长的历史窗口,以此进行演示。

next-best-offer 加速器能达到什么性能?

在基准配置中,排序端点实现了 34 ms 的 p95 延迟,包括在线特征检索和推理。排序端点持续处理约每秒 56 个请求,而 Feature Serving 端点在超过 50 ms p95 延迟预算之前持续处理约每秒 390 个请求。

运行 next-best-offer 加速器需要什么?

你需要一个 Databricks 工作区、一个已配置的 Databricks CLI 配置文件以及该加速器的 GitHub 仓库。第 1 部分使用 Declarative Automation Bundles 部署批量特征推荐器。第 2 部分还需要 Unity Catalog Kafka 连接和 Amazon MSK 连接,以纳入实时会话活动。

来源:Databricks Blog · databricks.com