Apache Spark 的 Real-Time Mode 是什么
What is Real-Time Mode in Apache Spark?
Databricks 官方解读 Apache Spark Structured Streaming 的 Real-Time Mode 触发器,它不再等待微批边界,而是持续处理每条到达的记录,把端到端延迟从秒级降到毫秒级。
Databricks 官方梳理了 Real-Time Mode 的开启方式、支持范围与延迟基准,可据此判断何时该从微批切换到毫秒级流处理。
实时模式是 Apache Spark™ Structured Streaming 的一种触发器,它会在每条记录到达时立即处理,而不是等待下一个微批次。它将 Spark 流处理的端到端延迟从秒级降至毫秒级,且运行在同一个引擎上,使用与批处理和微批次流处理相同的 API。
在实时模式出现之前,需要亚秒级响应的团队通常会额外增加一个仅用于流处理的引擎。实时模式为大多数工作负载消除了这一需求。你只需更改现有查询上的触发器,Spark 就会持续运行它。
实时模式如何工作?
实时模式用持续运行的任务取代微批次调度,这些任务会持续读取和处理数据。微批次查询需要等待批次边界,调度任务并在各阶段之间运行阻塞式 shuffle,这导致延迟下限约为 1 秒。实时模式通过三项变更消除了这一开销,详见 打破微批次壁垒:Apache Spark 实时模式的架构。
触发器间隔控制 Spark 提交检查点和报告进度的频率。它并不控制记录等待的时间。记录在整个过程中持续流经长时间运行的任务,检查点在后台提交。
如何开启实时模式?
将 Structured Streaming 查询上的触发器更改为 realTime,并设置 update 输出模式。查询的其余部分保持不变。
最小触发器间隔为 5 秒,五分钟是常见的生产设置。在 Databricks 上,请在运行 Databricks Runtime 16.4 LTS 或更高版本的 经典计算 上启用实时模式,关闭 Photon、自动扩缩容和竞价实例,并将 spark.databricks.streaming.realTimeMode.enabled 设置为 true。你也可以在 Lakeflow Spark 声明式管道 中以连续模式在无服务器计算上运行它。
同时为每个阶段规划规模。由于所有阶段并发运行,集群需要为查询中的每个任务提供一个任务槽。一个具有 8 个分区的 Kafka 源加上一个具有 20 个分区的 shuffle 需要 28 个槽。
实时模式支持哪些功能?
实时模式支持基于 Kafka 的源和接收器、行级 foreach 接收器以及大多数流操作符,包括有状态操作符。下表总结了 Databricks 上当前的支持情况。完整列表请参阅 实时模式参考。
| 领域 | 支持 | 不支持 |
|---|---|---|
| 源 | Apache Kafka、AWS MSK、Amazon Kinesis、通过 Kafka 连接器的 Event Hubs | 作为源的 Delta 表 |
| 接收器 | Kafka、foreach (ForeachWriter) | Delta 表、foreachBatch |
| 输出模式 | Update | Append、complete |
| 无状态操作符 | 投影、过滤器、UDF、流-静态连接 | 无重要项 |
| 有状态操作符 | 聚合、滚动和滑动窗口、去重、transformWithState(基于行) | 会话窗口、transformWithStateInPandas、事件时间计时器 |
| 计算 (Databricks) | 经典计算、经典或无服务器上的 Lakeflow 管道 | 无服务器笔记本和作业、免费版 |
表 1. Databricks 上的实时模式支持。来源: Databricks 实时模式参考。
要将 Real-Time Mode 的结果写入 Delta 表,请将其写入 Kafka,并从 Kafka 运行单独的微批查询到 Delta。
哪个 Spark 版本支持 Real-Time Mode?
Real-Time Mode 已在 Databricks 上正式可用,并正在各开源 Apache Spark 版本中逐步推出。在 Databricks 上,它自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。
| 版本 | 新增内容 |
|---|---|
| Apache Spark 4.1 | 面向无状态 Scala 查询的 Real-Time Mode |
| Apache Spark 4.2 | PySpark Real-Time Mode 触发器 |
| Apache Spark 4.3 | 有状态算子:聚合、去重和 transformWithState |
| Databricks(正式可用,2026 年 3 月) | 无状态和有状态查询、初始状态加载、Lakeflow 管道支持 |
表 2. Real-Time Mode 可用性。来源: Spark 4.1.0 发行说明、Apache Spark Real-Time Mode 文档。
Real-Time Mode 有多快?
在已发布的基准测试中,Real-Time Mode 对无状态查询可达到个位数毫秒延迟,对有状态查询的 p99 约为 140 毫秒。实际延迟取决于源、算子、状态大小、接收器和集群容量。
| 工作负载 | 已发布的 p99 延迟 | 来源 |
|---|---|---|
| 无状态转换 | 3 毫秒 | Databricks 延迟基准测试 |
| 流-静态连接 | 9 毫秒 | Databricks 延迟基准测试 |
| 有状态聚合(特征计算) | 14 毫秒 | Databricks 延迟基准测试 |
| dropDuplicates | 136 毫秒 | Databricks 有状态基准测试 |
| 窗口聚合 | 139 毫秒 | Databricks 有状态基准测试 |
| transformWithState | 141 毫秒 | Databricks 有状态基准测试 |
表 3. 已发布的 Real-Time Mode 延迟结果。来源: latency-benchmarks 仓库 和 Real-Time Mode 教程。
要监控正在运行的查询,请使用 Real-Time Mode 延迟指标,而不是批处理时长。批处理时长指标不反映端到端延迟,且报告的端到端指标不包含接收器写入时间。请参阅优化和监控 Real-Time Mode 性能。
在生产环境中,MakeMyTrip 将 P50 延迟从约 1.23 秒降至 44 毫秒,将 P99 从超过一分钟降至约 500 毫秒,这推动了点击率提升 7%。
如何在 Real-Time Mode 中使用状态?
使用标准流式算子进行聚合和去重,并使用 transformWithState 实现自定义的按 key 逻辑。状态存在于长时间运行的任务内部,因此有状态工作保持在低延迟路径上。设置水位线,以便 Spark 可以释放旧状态。
要在 Python 中实现自定义有状态逻辑,请使用基于行的 transformWithState API,它需要 Databricks Runtime 17.3 LTS 或更高版本。pandas 变体 transformWithStateInPandas 在 Real-Time Mode 中不受支持。请参阅构建自定义有状态应用。
何时应使用 Real-Time Mode?
当业务操作必须在一秒内发生时,请使用 Real-Time Mode;否则请使用成本更低的触发器。Real-Time Mode 在专用计算上持续运行,因此其成本是稳定的。
- 欺诈和风险评分。DraftKings 使用 Real-Time Mode 和 transformWithState 在实时体育博彩中进行欺诈检测。
- 个性化和推荐。MakeMyTrip 以 44 毫秒 P50 延迟提供个性化酒店结果。
- 实时 AI 功能和智能体上下文。同一管道为模型训练和在线推理计算特征,并为 AI 智能体持续提供最新事件。
- 运维告警与 IoT 监控。传感器和安全信号可在毫秒内触发操作。
当秒级或分钟级延迟可以接受时,微批或 availableNow 触发器是更好的选择,且成本更低。由于代码相同,你可以先使用更便宜的触发器,之后再切换。
Real-Time Mode 是 Apache Flink 的替代方案吗?
对大多数工作负载而言是的。Real-Time Mode 赋予 Spark 毫秒级延迟——这正是 Apache Flink 曾成为运维流处理默认选择的原因,同时还能用同一个引擎处理批处理、SQL 和机器学习。在 Databricks 基准测试中,Real-Time Mode 在无状态工作上与 Flink 持平,在有状态聚合和流-静态连接上 p99 延迟更低,Databricks 将其总结为最高快 92%。完整对比请阅读Apache Spark vs Apache Flink。
Databricks 上的 Real-Time Mode
Databricks 由 Apache Spark 的原始创建者创立,并将 Real-Time Mode 作为正式可用功能运行。在开源 Spark 之上,它增加了:
- 当前的有状态 Real-Time Mode:聚合、去重以及带初始状态加载的 transformWithState
- Lakeflow Spark Declarative Pipelines:在经典或无服务器计算上运行实时流
- Unity Catalog:为实时表和批处理表提供治理与血缘
为开源 Spark 编写的代码可在 Databricks 上原样运行。要试用,请参阅Apache Spark 教程:Real-Time Mode。
常见问题
Spark 中的 Real-Time Mode 是什么?
Databricks Real-Time Mode 是一种 Structured Streaming 触发器,它会在记录到达时持续处理,而不是以微批方式处理。它无需重写代码即可将 Spark 流处理降至毫秒级端到端延迟。
Real-Time Mode 与连续处理相同吗?
不同。连续处理是早期的一种实验性模式,支持的算子有限。Real-Time Mode 是一种新设计,具有长运行任务、流水线调度和流式 shuffle,并支持有状态算子。
Real-Time Mode 支持有状态操作吗?
支持。在 Databricks 上,Databricks Real-Time Mode 目前支持聚合、去重和 transformWithState。在开源 Apache Spark 中,有状态支持将随 Spark 4.3 提供。
Real-Time Mode 能写入 Delta Lake 吗?
不能直接写入。Real-Time Mode 写入 Kafka 或 foreach 接收器。要将结果写入 Delta 表,请从 Kafka 到 Delta 运行单独的微批查询。
Real-Time Mode 能在无服务器或 Free Edition 上运行吗?
Databricks Real-Time Mode 在经典计算和 Lakeflow Spark Declarative Pipelines(包括无服务器流水线)上运行。它不在无服务器笔记本或作业中运行,因此无法在 Databricks Free Edition 笔记本中使用。
来源:Databricks Blog · databricks.com