Apache Spark 4.3 发布，实时模式支持有状态处理

Databricks 宣布 Apache Spark 4.3 发布，并已在 Databricks Runtime 19 中提供。该版本为 Real-Time Mode 新增有状态处理，支持流式聚合、dropDuplicates 以及 Scala/Java 的 transformWithState。据 Databricks 博客，在 dropDuplicates、窗口聚合和 transformWithState 三项基准中，P99 端到端延迟分别为 136 ms、139 ms 和 141 ms。 部分能力附带条件：单任务优化和 Arrow cache 需主动开启；时间戳精度预览支持 TIMESTAMP_NTZ(p) 与 TIMESTAMP_LTZ(p) 的 7 至 9 位精度；Auto CDC 通过 MERGE 将每个微批写入目标表，因此目标表所在 catalog 的连接器须实现 Data Source V2 行级操作。 博客还称，另有工作有独立开发时间线，不随 4.3 一并提供。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。