Databricks AI Runtime 上的表格基础模型
Tabular foundation models on Databricks AI Runtime
Databricks AI Runtime 现已支持表格基础模型(TFM)的实验与微调,提供托管 GPU 基础设施、集成开发工具和模型治理。TFM 在数百万合成数据集上预训练,预测时通过单次前向传播完成上下文学习,无需针对数据集训练。
许多最有价值的预测性机器学习应用都依赖表格数据。从信用风险和客户流失到需求预测和预测性维护,这些用例传统上要求团队为每个预测任务开发、训练和维护模型。表格基础模型(TFM)提供了另一种方法:预训练模型可以在新数据集上进行预测,而无需针对特定任务进行训练。
大规模将机器学习系统投入生产对许多企业来说仍然是一项挑战,原因如下:
- 模型开发:每个用例都需要数据准备、特征工程、模型选择、训练和评估。找到一个满足准确性和性能要求的模型可能需要大量实验。
- 模型维护:模型部署后,需要监控性能下降和数据漂移。随着数据集和业务需求的变化,团队可能还需要维护再训练流水线。
最近,智能体解决方案帮助加速了这些昂贵的操作,但它们仍然依赖为每个机器学习任务或数据集专门训练的模型。为了消除这种依赖,一些开创性研究实验室将 transformer 架构大规模应用于表格数据,创建了一类称为表格基础模型(TFM)的新模型。由于 TFM 是预训练的,它们不需要在你的数据集上进行训练,这意味着专门训练和再训练流水线在很大程度上消失了。
尽管这些模型在公开基准测试中展现出令人印象深刻的准确性,但它们尚未进入企业 AI 的主流。部分原因是该领域尚处于起步阶段,许多从业者还不了解它们,但另一个原因是计算基础设施要求。
在本文中,我们将探讨 TFM 的工作原理,比较近期模型,并解释在企业机器学习中采用它们所涉及的权衡。然后我们将演示 Databricks AI Runtime 如何通过托管 GPU 基础设施、集成开发工具和模型治理来支持 TFM 实验和微调。
表格基础模型的工作原理
TFM 在很大程度上消除了训练需求以及维护专门模型的开销。它们在数百万个多样化的合成数据集上进行了预训练,因此能够推断未见数据集中变量之间的关系。在预测时,带标签的行作为上下文与待预测的行一起传入。然后,作为 transformer 架构核心的注意力机制将每个新行与这些示例关联起来。预测通过单次前向传递产生,这一过程称为上下文学习(ICL)。
虽然这种零样本方法开箱即用地提供了强大的基线,但 TFM 也可以进行微调。通过在特定数据集上更新模型的预训练权重,机器学习团队可以为其最关键用例进一步提升预测准确性。
Transformer 如何处理表格数据
TFM 中 transformer 的主要复杂性在于处理各种输入类型。与文本中的单词或图像中的像素不同,表格混合了数值、分类和布尔特征,每种特征都有自己的尺度和含义。如何高效地将这些输入嵌入到一个共同的潜在空间一直是一个重大挑战。社区通过开发专门的 tokenizer 解决了这个问题,这些 tokenizer 将分类特征和数值特征映射到一个单一的共享表示中。
一旦实现了对每个单元格的高效 tokenization,问题就变成了如何有效地学习行与列之间的关系。 TabPFNv2 是第一个在基础模型规模上实现这一目标的工作。如图 1 所示,它涉及在行内依次应用注意力机制,然后在列内应用,从而捕捉特征之间的复杂交互以及不同数据样本之间的潜在关系。
尽管取得了成功,但这种方法面临严重的可扩展性限制。通过在行和列上执行密集注意力,计算成本迅速增长,随着样本和特征数量的增加,成本变得过高。作为解决方案,TabICLv1 采用了行压缩方法,其中专门的编码器仅用四个 token 表示每一行,使得跨样本的注意力计算成本大大降低,同时保持了有竞争力的预测性能。该架构如图 2 所示,但此后已被 TabPFNv3、TabFM 和 KumoTabular 等模型采用并扩展,这些模型如今在 TabArena 等基准测试中名列前茅。
使用合成数据进行预训练
除了架构之外,TFM 的另一个显著特征是其构建方式:模型创建者在预训练阶段主要使用合成数据。TFM 开箱即用成功与否的决定性因素在于,这些研究人员能否生成准确代表真实世界数据集分布和关系的合成数据。为了构建稳健的基础模型,创建者必须模拟大规模、多样化的数据,以捕捉常见的企业质量问题,如缺失值、异常值和未观测特征。 虽然结构因果模型为采样这些预训练数据集提供了标准化框架,但确切的流程配置在很大程度上取决于具体的 TFM。
近期模型一览
随着 TFM 领域快速发展、新版本频繁发布,评估企业部署选项需要仔细审视。下表从两个实际部署因素的角度重点介绍了领先模型:规模和许可。
模型 | 发布日期 | 参数量 | 权重许可 |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause:商业上宽松 |
TabFM | 06/2026 | ~400M | TabFM 非商业许可证 v1.0* 非商业性许可 |
TabPFNv3.5 | 09/2026 | ~220M | TABPFN-3.5 许可证 v1.0* 非商业性许可 |
09/2026 | ~77M | Apache-2.0:商业性许可 | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1:商业性许可 |
*与模型创建者达成协议后即可用于商业用途。
如需了解当前最先进技术的完整列表,请查看 TabArena 或 TALENT 等基准测试。鉴于每个 TFM 都有其独特的权衡取舍,我们建议直接使用贵组织的数据来评估这些模型,因为专有的企业工作负载往往与合成数据或标准基准测试存在巨大差异。
除了衡量预测准确率之外,团队还必须评估运营成本。虽然 TFM 通过消除定制训练流水线节省了大量工程时间,但在 GPU 上运行基础模型的每次预测成本本质上高于在 CPU 上执行传统 XGBoost 模型。对于任何给定的用例,评估 TFM 意味着要在加速的上市时间和性能提升与 GPU 推理的持续成本之间进行权衡。
GPU 挑战
TFM 的推理在 GPU 上进行了优化。模型本身足够小,可以放在单个 GPU 上,但在上下文学习中,每次预测都会将整个训练集传递给模型。因此,GPU 内存使用量会随着行数和特征数的增加而增长,并且在企业 ML 典型的数据集规模下可能很快耗尽。对高性能 GPU 的需求导致了三个问题:
- 配置 GPU:按需 GPU 通常伴随着漫长且不可预测的等待时间。24/7 预留一定容量会因闲置容量和规模测算而产生高昂的总拥有成本(TCO)。
- 管理 GPU:要充分利用 GPU,需要良好的可观测性,尤其是对于 TFM,因为许多因素都会影响内存使用。工程师要么花费数小时构建这些工具并管理基础设施,要么最终得到严重利用不足的 GPU。
- 造成外部依赖:在许多系统中,GPU 是在单独的工具中配置的,因此数据必须从数据平台复制出去,推理结果再复制回来。当您想要微调 TFM 时,情况会变得更糟,因为微调后的权重在治理和生命周期管理上会变得更加困难。
面向 TFM 的 Databricks AI Runtime
Databricks 在单一开放平台上统一了数据与 AI。AI Runtime 是一种全托管的无服务器 GPU 基础设施,为企业 GPU 工作负载提供这种统一体验。使用 AI Runtime 进行实验和生产化从未如此简单,其功能包括:
- 灵活、按需访问 GPU,包括可支持 TabPFN-3 等 TFM 的 H100,规模最高可达 100 万行 × 200 个特征。
- A deep learning stack with built-in observability, GPU utilization, and MLflow experiment tracking
- 原生支持 notebooks、Lakeflow Jobs 和 Unity Catalog,简化了通往生产环境的路径
- 原生 Docker 支持以及通过 Databricks CLI 进行远程 SSH 访问,进一步改善了开发者体验
- 一个内置于 notebook 的 Genie Code agent,具备深度学习和 GPU 专业知识,能够编写和调试推理与训练代码、修复性能瓶颈并解决收敛或框架错误,如视频 1 所示。
- 通过 Databricks Model Serving 实现无缝部署,让你可以将 TFM 部署为自动扩缩的实时 REST 端点。对于信用评分或产品推荐等对延迟敏感的场景,这可确保你的 GPU 支持模型能够直接向生产应用提供低延迟预测。
借助 Databricks AI Runtime,你可以直接在数据所在的位置运行 TFM 工作负载,使用 Unity Catalog 治理和管理 GPU 工作流的生命周期,而无需创建任何数据孤岛。
开始使用
克隆此 代码仓库,了解如何使用 Databricks AI Runtime 对各种 TFM 运行零样本推理,以及使用 KumoTabular 进行分类和回归的完整微调示例。这些示例展示了 AI Runtime 如何帮助你轻松管理高级 TFM 微调工作流的生命周期与集成。
视频 2 演示了使用 H100 的 微调 notebook,展示了 GPU 使用情况可观测性如何直接嵌入 notebook 以及用于指标跟踪的 MLflow 实验。此外,该工作流还涵盖通过 Unity Catalog 进行集中治理和注册,从而促进稳健的版本控制和结构化的模型生命周期管理。
表格基础模型有望将机器学习项目的上市时间从数月缩短至数天,而借助 Databricks AI Runtime,GPU 工作负载不再是障碍。你的实验可以轻松过渡为受治理、可投入生产的解决方案,无论是作为高吞吐量批处理管道还是实时推理端点,都在数据所在的同一平台上完成,从而弥合探索性研究与企业采用之间的差距。
机器学习领域已达到一个临界点,部署高影响力模型的障碍从未如此之低。企业可以通过为自身工作负载探索 TFM 来立即把握这一转变。不要只听我们的一面之词;针对你的数据评估 TFM,今天就释放性能、简化运营,并获得准确、可操作的预测。
常见问题
什么是表格基础模型(TFM)?
TFM 是专为表格数据设计的预训练 transformer 模型。由于它们在数百万个多样化的合成数据集上进行了预训练,因此无需从头训练即可推断新数据中的关系,从而大幅缩短部署机器学习模型所需的时间。
TFM 如何处理表格中不同类型的数据?
TFM 使用专门的分词器,将数值、类别和布尔等混合数据类型映射到单一共享的潜在向量空间。这使得 transformer 的注意力机制能够同时处理不同特征类型之间的复杂交互。
为什么推荐使用 GPU 来运行表格基础模型?
TFM 基于 transformer 架构构建,该架构依赖稠密矩阵乘法,而这类运算在 GPU 上的运行效率远高于 CPU。虽然从技术上讲,你可以在 CPU 上运行 TFM,但对于企业级数据而言,其速度慢得不切实际;此外,上下文学习过程中产生的大量中间计算(激活值)需要 GPU 的并行处理能力和内存带宽,才能在合理时间内完成。
我可以微调表格基础模型吗?
可以。虽然 TFM 通过零样本推理即可提供很强的预测准确率,但你可以针对自己专有的特定数据集微调其预训练权重,从而在关键用例中进一步提升性能。
Databricks AI Runtime 如何帮助使用 TFM?
Databricks AI Runtime 直接在数据所在位置提供全托管的无服务器 GPU 基础设施。它免去了将数据迁移到外部 GPU 工具的需要,让你能够运行推理、微调模型,并通过 Unity Catalog 管理治理,而不会造成数据孤岛。
来源:Databricks Blog · databricks.com