Databricks 推出 Predictive AI Functions：用 SQL 原生函数做预测、归因与异常检测

数据团队总是被问到同样的问题：“下个季度的销售额会是多少？”“为什么这个指标发生了变化？”以及“最近的数据是否超出了我们通常看到的正常范围？”回答这些高级分析问题通常意味着要把工作交给数据科学团队来构建模型和管理基础设施。这就造成了一个瓶颈，业务用户需要排队等待，而且许多问题甚至从未被提出。

预测性 AI 函数现已推出 Beta 版，通过让分析师和业务用户借助由最先进 ML 模型支持的内置函数来运行预测、驱动因素分析和异常检测等高级分析，从而消除了这一瓶颈。这些 SQL 原生函数可以直接在 SQL 中调用，在 Genie 中用自然语言问题调用，或嵌入仪表板中。由于 Databricks 集中维护这些模型，团队无需构建或管理基础设施即可获得高质量、一致的答案。

本次发布为 ai_forecast 新增了四个 SQL 原生函数并提升了准确性：

ai_forecast：将时间序列投射到未来
ai_top_drivers：找出哪些细分群体对指标变化的影响最大
ai_detect_anomalies：标记时间数据中的异常行
ai_predict_value：预测连续值（回归）
ai_predict_class：预测分类值（分类）

为了展示这些函数如何在 Databricks 中跨场景使用，我们将使用 NYC 出租车行程数据集，在仪表板、SQL 和 Genie 中演示示例。

仪表板中值得信赖的预测

仪表板是团队查看驱动其业务指标的地方，通常也是他们了解这些指标未来走向的地方。借助 ai_forecast，团队可以预测指标，并将这些预测与其他报告内容一起呈现。

新的 ai_forecast 让获得高质量预测变得轻而易举，无需任何调优。它由基于 transformer 的时间序列基础模型驱动，该模型像大语言模型在文本上训练那样，在庞大且多样化的时间序列集合上进行了预训练。由于它已经能够识别季节性和趋势等常见模式，因此无需调优即可对你的数据生成准确的预测。

下面的可视化使用 ai_forecast 将 NYC 出租车行程数据集中的月度载客量预测到 2027 年底。该预测揭示了出租车需求中预期的季节性模式，提供了以数据为驱动的载客量走向视图。

新的 ai_forecast 不仅能自动处理一般模式，还引入了相关功能，让团队可以添加其业务特有的因素。借助内置的节假日支持，团队可以自动考虑圣诞节低谷和学校假期高峰等本地事件。团队还可以指定外部协变量，输入驱动指标的因素，例如价格变化或营销支出，从而使预测更好地反映其业务。

用自然语言获得强大的预测

本次发布还引入了四个新函数，用于数据团队常提出的临时高级分析问题。

ai_top_drivers 解释指标为何变化
ai_detect_anomalies 标记看起来异常的值
ai_predict_value 和 ai_predict_class 通过估计数值或分配类别来填补缺失值。

每一个，比如 ai_forecast，都是一个原生 SQL 函数。分析师可以直接在 SQL 编辑器或 notebook 中调用它们，在数亿行数据上运行，并将结果连同其他工作一起输入到他们的查询和管道中。与为类似功能开发自定义模型相比，这缩短了开发时间，并提高了更多用户的可访问性。

例如，下面的查询将 NYC 出租车行程聚合为每日收入时间序列，并将其传递给 ai_detect_anomalies，后者会自动对数据拟合模型并标记异常日期。

这些相同的函数将通过 Genie 提供给业务用户（ai_top_drivers 现已可用， ai_forecast、 ai_detect_anomalies、ai_predict_value 和 ai_predict_class 即将推出）。任何人都可以用自然语言提问，比如为什么上季度收入下降，或者哪些客户可能流失，Genie 会调用正确的函数来返回有依据、由模型支持的答案，无需 SQL 或 ML 专业知识。

下面的查询使用 ai_top_drivers 自动识别哪些时段和工作日/周末细分对 2016 年 1 月至 2 月 NYC 出租车票价收入变化贡献最大。它按绝对和相对收入影响对每个细分进行排名，揭示工作日午间时段带来了最大增长，而工作日晚高峰则是最大的拖累。

因为这些函数使用量身定制的机器学习方法，它们使 Genie 能够回答通用 LLM 无法单独可靠处理的问题。

行业领先的质量

这些函数都提供高质量的预测，并由生产级 ML 模型支持。由于 Databricks 集中维护这些模型，这种质量在每个界面上都保持一致，因此无论预测是在仪表板、SQL 中运行，还是通过 Genie 运行，团队都能获得同样可信的结果。

预测最具体地体现了这一点。我们使用 fev-bench 将新的 ai_forecast 与领先云数据仓库的函数进行基准测试。任务胜率定义为（按缩放分位数损失衡量）一个系统实现比另一个系统更低概率误差的任务百分比。以下是各选项的对比：

ai_forecast 优于其他云数据仓库提供商以及 ai_forecast 的先前版本。借助 Predictive AI Functions，团队可以在每个界面上开箱即用地获得行业领先的准确性，无需调优。

立即开始

Predictive AI Functions 将曾经需要数据科学团队回答的问题，比如接下来会发生什么、为什么发生变化、出了什么问题以及价值是什么，转化为业务团队可以在自己已经工作的地方自行获得的答案：在仪表板、Genie 和 SQL 中。结果是人人可用的高级分析：高质量的预测易于使用，无需构建模型或管理基础设施。