跳到正文
Databricks Blog·· 5 天前精选AI 评分66

Apache Spark 的 Real-Time Mode 是什么

What is Real-Time Mode in Apache Spark?

AI 导读

Databricks 官方解读 Apache Spark Structured Streaming 的 Real-Time Mode 触发器,它不再等待微批边界,而是持续处理每条到达的记录,把端到端延迟从秒级降到毫秒级。

推荐理由

Databricks 官方梳理了 Real-Time Mode 的开启方式、支持范围与延迟基准,可据此判断何时该从微批切换到毫秒级流处理。

正文 · AI 翻译

实时模式是 Apache Spark™ Structured Streaming 的一种触发器,它会在每条记录到达时立即处理,而不是等待下一个微批次。它将 Spark 流处理的端到端延迟从秒级降至毫秒级,且运行在同一个引擎上,使用与批处理和微批次流处理相同的 API。

在实时模式出现之前,需要亚秒级响应的团队通常会额外增加一个仅用于流处理的引擎。实时模式为大多数工作负载消除了这一需求。你只需更改现有查询上的触发器,Spark 就会持续运行它。

实时模式如何工作?

实时模式用持续运行的任务取代微批次调度,这些任务会持续读取和处理数据。微批次查询需要等待批次边界,调度任务并在各阶段之间运行阻塞式 shuffle,这导致延迟下限约为 1 秒。实时模式通过三项变更消除了这一开销,详见 打破微批次壁垒:Apache Spark 实时模式的架构。

Diagram of the three Real-Time Mode innovations: continuous data flow, pipeline scheduling of all stages at once, and a non-blocking streaming shuffle between stages.
图 1. 实时模式结合了连续数据流、流水线调度和流式 shuffle,使记录无需等待批次边界即可从源移动到接收器。
Timeline comparing Spark micro-batch execution with gaps between batches to Real-Time Mode, where long-running tasks process records continuously between checkpoints.
图 2. 微批次需要等待批次边界和阻塞式 shuffle。实时模式持续运行各阶段,并在后台执行检查点。

触发器间隔控制 Spark 提交检查点和报告进度的频率。它并不控制记录等待的时间。记录在整个过程中持续流经长时间运行的任务,检查点在后台提交。

如何开启实时模式?

将 Structured Streaming 查询上的触发器更改为 realTime,并设置 update 输出模式。查询的其余部分保持不变。

最小触发器间隔为 5 秒,五分钟是常见的生产设置。在 Databricks 上,请在运行 Databricks Runtime 16.4 LTS 或更高版本的 经典计算 上启用实时模式,关闭 Photon、自动扩缩容和竞价实例,并将 spark.databricks.streaming.realTimeMode.enabled 设置为 true。你也可以在 Lakeflow Spark 声明式管道 中以连续模式在无服务器计算上运行它。

同时为每个阶段规划规模。由于所有阶段并发运行,集群需要为查询中的每个任务提供一个任务槽。一个具有 8 个分区的 Kafka 源加上一个具有 20 个分区的 shuffle 需要 28 个槽。

实时模式支持哪些功能?

实时模式支持基于 Kafka 的源和接收器、行级 foreach 接收器以及大多数流操作符,包括有状态操作符。下表总结了 Databricks 上当前的支持情况。完整列表请参阅 实时模式参考。

领域支持不支持
源Apache Kafka、AWS MSK、Amazon Kinesis、通过 Kafka 连接器的 Event Hubs作为源的 Delta 表
接收器Kafka、foreach (ForeachWriter)Delta 表、foreachBatch
输出模式UpdateAppend、complete
无状态操作符投影、过滤器、UDF、流-静态连接无重要项
有状态操作符聚合、滚动和滑动窗口、去重、transformWithState(基于行)会话窗口、transformWithStateInPandas、事件时间计时器
计算 (Databricks)经典计算、经典或无服务器上的 Lakeflow 管道无服务器笔记本和作业、免费版

表 1. Databricks 上的实时模式支持。来源: Databricks 实时模式参考。

要将 Real-Time Mode 的结果写入 Delta 表,请将其写入 Kafka,并从 Kafka 运行单独的微批查询到 Delta。

哪个 Spark 版本支持 Real-Time Mode?

Real-Time Mode 已在 Databricks 上正式可用,并正在各开源 Apache Spark 版本中逐步推出。在 Databricks 上,它自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。

版本新增内容
Apache Spark 4.1面向无状态 Scala 查询的 Real-Time Mode
Apache Spark 4.2PySpark Real-Time Mode 触发器
Apache Spark 4.3有状态算子:聚合、去重和 transformWithState
Databricks(正式可用,2026 年 3 月)无状态和有状态查询、初始状态加载、Lakeflow 管道支持

表 2. Real-Time Mode 可用性。来源: Spark 4.1.0 发行说明、Apache Spark Real-Time Mode 文档。

Real-Time Mode 有多快?

在已发布的基准测试中,Real-Time Mode 对无状态查询可达到个位数毫秒延迟,对有状态查询的 p99 约为 140 毫秒。实际延迟取决于源、算子、状态大小、接收器和集群容量。

工作负载已发布的 p99 延迟来源
无状态转换3 毫秒Databricks 延迟基准测试
流-静态连接9 毫秒Databricks 延迟基准测试
有状态聚合(特征计算)14 毫秒Databricks 延迟基准测试
dropDuplicates136 毫秒Databricks 有状态基准测试
窗口聚合139 毫秒Databricks 有状态基准测试
transformWithState141 毫秒Databricks 有状态基准测试

表 3. 已发布的 Real-Time Mode 延迟结果。来源: latency-benchmarks 仓库 和 Real-Time Mode 教程。

要监控正在运行的查询,请使用 Real-Time Mode 延迟指标,而不是批处理时长。批处理时长指标不反映端到端延迟,且报告的端到端指标不包含接收器写入时间。请参阅优化和监控 Real-Time Mode 性能。

在生产环境中,MakeMyTrip 将 P50 延迟从约 1.23 秒降至 44 毫秒,将 P99 从超过一分钟降至约 500 毫秒,这推动了点击率提升 7%。

Bar chart showing MakeMyTrip P50 latency falling from about 1.23 seconds to 44 ms and P99 from over a minute to about 500 ms with Spark Real-Time Mode.
图 3. MakeMyTrip 在采用 Real-Time Mode 后,将 P50 延迟从约 1.23 秒降至 44 毫秒,将 P99 从超过一分钟降至约 500 毫秒。

如何在 Real-Time Mode 中使用状态?

使用标准流式算子进行聚合和去重,并使用 transformWithState 实现自定义的按 key 逻辑。状态存在于长时间运行的任务内部,因此有状态工作保持在低延迟路径上。设置水位线,以便 Spark 可以释放旧状态。

要在 Python 中实现自定义有状态逻辑,请使用基于行的 transformWithState API,它需要 Databricks Runtime 17.3 LTS 或更高版本。pandas 变体 transformWithStateInPandas 在 Real-Time Mode 中不受支持。请参阅构建自定义有状态应用。

何时应使用 Real-Time Mode?

当业务操作必须在一秒内发生时,请使用 Real-Time Mode;否则请使用成本更低的触发器。Real-Time Mode 在专用计算上持续运行,因此其成本是稳定的。

  • 欺诈和风险评分。DraftKings 使用 Real-Time Mode 和 transformWithState 在实时体育博彩中进行欺诈检测。
  • 个性化和推荐。MakeMyTrip 以 44 毫秒 P50 延迟提供个性化酒店结果。
  • 实时 AI 功能和智能体上下文。同一管道为模型训练和在线推理计算特征,并为 AI 智能体持续提供最新事件。
  • 运维告警与 IoT 监控。传感器和安全信号可在毫秒内触发操作。

当秒级或分钟级延迟可以接受时,微批或 availableNow 触发器是更好的选择,且成本更低。由于代码相同,你可以先使用更便宜的触发器,之后再切换。

Real-Time Mode 是 Apache Flink 的替代方案吗?

对大多数工作负载而言是的。Real-Time Mode 赋予 Spark 毫秒级延迟——这正是 Apache Flink 曾成为运维流处理默认选择的原因,同时还能用同一个引擎处理批处理、SQL 和机器学习。在 Databricks 基准测试中,Real-Time Mode 在无状态工作上与 Flink 持平,在有状态聚合和流-静态连接上 p99 延迟更低,Databricks 将其总结为最高快 92%。完整对比请阅读Apache Spark vs Apache Flink。

Databricks 上的 Real-Time Mode

Databricks 由 Apache Spark 的原始创建者创立,并将 Real-Time Mode 作为正式可用功能运行。在开源 Spark 之上,它增加了:

  • 当前的有状态 Real-Time Mode:聚合、去重以及带初始状态加载的 transformWithState
  • Lakeflow Spark Declarative Pipelines:在经典或无服务器计算上运行实时流
  • Unity Catalog:为实时表和批处理表提供治理与血缘

为开源 Spark 编写的代码可在 Databricks 上原样运行。要试用,请参阅Apache Spark 教程:Real-Time Mode。

常见问题

Spark 中的 Real-Time Mode 是什么?

Databricks Real-Time Mode 是一种 Structured Streaming 触发器,它会在记录到达时持续处理,而不是以微批方式处理。它无需重写代码即可将 Spark 流处理降至毫秒级端到端延迟。

Real-Time Mode 与连续处理相同吗?

不同。连续处理是早期的一种实验性模式,支持的算子有限。Real-Time Mode 是一种新设计,具有长运行任务、流水线调度和流式 shuffle,并支持有状态算子。

Real-Time Mode 支持有状态操作吗?

支持。在 Databricks 上,Databricks Real-Time Mode 目前支持聚合、去重和 transformWithState。在开源 Apache Spark 中,有状态支持将随 Spark 4.3 提供。

Real-Time Mode 能写入 Delta Lake 吗?

不能直接写入。Real-Time Mode 写入 Kafka 或 foreach 接收器。要将结果写入 Delta 表,请从 Kafka 到 Delta 运行单独的微批查询。

Real-Time Mode 能在无服务器或 Free Edition 上运行吗?

Databricks Real-Time Mode 在经典计算和 Lakeflow Spark Declarative Pipelines(包括无服务器流水线)上运行。它不在无服务器笔记本或作业中运行,因此无法在 Databricks Free Edition 笔记本中使用。

在 Databricks 上开始使用 Real-Time Mode

来源:Databricks Blog · databricks.com