Databricks AI Runtime 正式可用，把托管 GPU 训练搬进 Lakehouse

Databricks：Blog·2026-10-21 19:20· 2 小时前AI 评分48

AI Runtime 正式可用

AI 导读

Databricks 宣布 AI Runtime（AIR）正式可用，将全托管 GPU 基础设施直接接入 Databricks，让客户在企业数据所在的 Lakehouse 内训练模型。

正文 · 原文

今天，我们很高兴地宣布 AI Runtime（AIR）正式可用，将全托管 GPU 基础设施直接引入 Databricks，使客户能够在企业数据已经所在的 Lakehouse 中训练其最严苛的模型。

AI 团队往往把更多时间花在获取 GPU 容量、处理故障和等待实验启动上，而不是改进模型。将 GPU 基础设施与 Lakehouse 分开运行会带来治理缺口，并使敏感训练数据面临风险。随着编码智能体推动更多训练实验，这些瓶颈和风险不断加剧——这使得可靠、快速且受治理的基础设施变得至关重要。

AIR 将 GPU 基础设施、开发者工具和数据治理整合在一起，使团队能够大规模训练、更快迭代，并保障每个工作负载的安全，而无需管理单独的 GPU 栈。包括 Robinhood、PicPay、Merck、Flo Health、TinyFish 和 FactSet 在内的数百家公司已经使用 AIR 训练深度学习模型并将其投入生产，用例涵盖医疗保健、制造业和面向消费者的智能体。我们自己的Databricks AI Research 团队使用 AIR训练 KARL 和 AI Parse 背后的模型。

借助 AIR，客户可以：

• 借助省心的 GPU 基础设施大规模训练： 无服务器、按需访问先进 GPU，依托可靠的多节点训练、优化的性能，并经过 100,000+ GPU 小时训练运行的实战检验。
• 以近乎即时的启动延迟和便捷调试更快实验： 自带代码、容器和 Ray 工作负载——在支持 RDMA 的 GPU 上获得秒级启动延迟。环境缓存和内置调试工具可节省每个训练循环的时间。
• 保障并治理每个 GPU 工作负载： AIR 在 Databricks 和 Unity Catalog 的治理边界内运行，并依托多年来在无服务器安全方面的投入。AIR 有助于确保 GPU 工作负载保护宝贵的训练数据、遵守访问策略，并可被跟踪/审计。

省心的 GPU 基础设施

管理 GPU 基础设施需要大量运维开销，从容量规划和节点维护到网络和监控。

借助 AIR，Databricks 承担配置 GPU、维护基础设施健康状态和优化工作负载的运维工作，让您的团队可以专注于训练：

• 按需获取所需的 GPU 容量。 Databricks 负责 GPU 采购、集群配置和网络，使您的团队无需构建和运营完整的 GPU 平台即可开始训练。
• 在健康的基础设施上放心扩展。 Databricks 在训练前和训练期间会运行数十项 GPU 和网络健康检查，因此你的工作负载可以可靠地扩展到数百个 GPU。
• 默认高效训练： 内置数据加载器会流式传输并缓存训练数据，以减少等待 I/O 的时间。使用 UCVolumeDataset 等工具提升数据吞吐量，而无需构建自定义加载流水线。

借助 Databricks AI Runtime，我们将大规模训练从配备 8 个 A100 GPU 的单节点设置迁移到配备 16 个 H100 GPU 的多节点设置。这将训练时间从大约七天缩短到 48 小时，实现了 3.5 倍加速，使我们团队更容易迭代更大规模的模型实验并更高效地训练。—Kostia Omelianchuk，Superhuman 应用研究科学家兼领域技术负责人

在任何工作环境中使用 GPU

通过 CLI 或在 Notebooks 或 IDE 中交互式访问 GPU。你的第一个工作负载只需一条 CLI 命令。借助 Databricks AIR Skills，从 K8S 或 SLURM 集群迁移只需一条自然语言提示。

借助 Lakeflow 放心编排 GPU 工作负载

AIR 与 Lakeflow 原生集成，因此你可以让 GPU 工作负载与上游和下游流水线保持同步。迁移到生产环境只需额外几行 YAML，内置的优先级/抢占机制可最大限度减少 GPU 空闲时间，而 Genie ZeroOps 等监控工具可减少运维负担。

更快地实验、调试和迭代

分布式训练工作负载的设置和启动非常痛苦。AI 团队浪费时间配置训练环境、等待 GPU 集群启动，以及调试整个技术栈中的问题。

AIR 帮助你在几秒内从代码进入训练。你可以使用预构建环境或自带容器，并受益于高度优化的环境缓存，因此只需构建一次环境。AIR 兼容所有主流框架，包括 Ray，因此你可以以最少配置迁移代码。  

Databricks AI Runtime 让我们能在数据所在之处进行训练，并具备大规模模型训练所需的可靠性、安全性和性能。我们可以花更少时间管理 GPU 基础设施，花更多时间改进模型本身。—Vladislav Nedosekin，Flo Health 数据与 AI 平台工程总监

几秒内启动你的下一个实验

当你迭代和开发训练脚本时，每一秒的延迟都会被反复感受到。因此，我们优化了预配技术栈的每一层，使工作负载——即使是配备数十个 GPU 的大规模支持 RDMA 的集群——也能在几秒内启动。

在一处调试分布式训练

我们在 MLflow 这一业界领先的实验跟踪工具中打造了全新的可观测性体验。借助这一新体验，调试提交后数秒内即开始流式输出的日志，只需在 AIR 命令中添加 –watch 即可完成。如需更深入的排查，你可以使用我们专为多节点训练定制的新日志查看器。

在 Sonar，我们通过独立的代码验证与治理，帮助组织在其智能体软件工厂中建立代码信心。我们的研究工程师团队最近使用 Databricks AI Runtime 构建 LLM 训练流水线，并快速验证不同假设。AI Runtime 让我们能够快速从想法走向实验，并对流水线的每个阶段保持可观测性。—Joe Tyler，Sonar 首席 AI 研究员

Databricks 的 AI Runtime 极大简化了训练自定义 Text To Formula（TTF）模型的过程。无需搭建基础设施，也没有延迟，可根据提示大小和输出 token 生成量轻松选择合适的计算资源。这让我们能够快速推进、保持 Lakehouse 工作流，并在完整治理下交付高质量模型，将模型的搭建、训练和部署时间从数天缩短至数小时。—Nikhil Sunderraj，FactSet 首席机器学习工程师

借助内置 Genie Code 进行智能体调试

Genie Code 已嵌入整个用户体验之中，并预置了智能体技能，帮助你调试问题并优化 GPU 训练性能。这些技能包含我们的研究和性能团队发现的洞见，例如我们如何在 AIR 上将 Qwen 训练时间缩短 6 倍。

在 Robinhood，AI Runtime 帮助我们的团队更快地从实验走向训练，而无需承担基础设施开销。微调无缝衔接，让我们能够在数据所在之处进行训练，同时内置治理和数据控制。这意味着我们的工程师可以花更多时间构建更好的模型，而花更少时间管理复杂的 GPU 环境。—Robert Macy III，Robinhood 机器学习工程师

Databricks AI Runtime 让我们能够在现有数据工作流中，直接利用无服务器 GPU 对数百万条记录进行分布式训练扩展。随着越来越多全球前 20 强生物制药公司依赖我们的模型为开发决策提供依据，这种速度和简洁性让我们的团队能够持续改进模型，而不是管理基础设施。—Eran Barash，QuantHealth 人工智能与机器学习副总裁

作为 Lakehouse 的一部分，保护并治理每一个 GPU 工作负载

将 GPU 基础设施与企业数据分开管理会造成治理缺口、访问控制碎片化以及不必要的数据副本。当智能体并行运行数百个训练实验时，团队需要确保敏感数据始终受到治理、工作负载保持安全隔离，而无需依赖人工监督。 OpenAI Huggingface 事件凸显了这一风险。 

AIR 将你可信的数据控制与治理扩展到每一个 GPU 工作负载。Unity Catalog 对 GPU 工作负载的各个方面（数据访问、检查点、日志等）强制执行一致的读/写权限，因此你的 GPU 平台与数据治理层现在使用完全相同的语言。 

隔离工作负载并控制网络访问

AIR 依托多年来在 无服务器安全、隔离和私有网络方面的投入。与暴露主机内核的 GPU 隔离机制不同，AIR 具备虚拟机级隔离，支持 PrivateLink 和无服务器出站控制。因此，与传统系统相比，AIR 为训练工作负载提供了强得多的保护。 

了解你的 GPU 预算花在哪里

通过 Databricks 计费系统表，与其他 Databricks 工作负载一起跟踪 AIR 的使用情况和成本。使用工作负载级的使用记录来识别哪些训练工作负载消耗了你的 GPU 预算，并指导未来运行的决策。 

借助 Databricks AI Runtime 和 Serverless，我们能够更快地扩展 LLM 训练和推理，处理更大的模型、多块 H100 GPU 和海量数据。与我们现有管道的集成，加上 Databricks 的编排和监控能力，使端到端工作流更简单、更高效，减少了基础设施复杂性和开发周期时间。—Vitor Rolim，PicPay 资深机器学习工程师

对我们来说，训练模型只是问题的一部分。我们需要知道某项改动是否真的能让智能体更好地完成实际任务，然后能够迅速将这一改进投入生产。借助 AI Runtime，我们可以在 GPU 上训练、用 MLflow 评估，并部署我们的 Web 原生模型，而无需为每个阶段构建单独的栈。—Zach Richardson，TinyFish AI 负责人

开始你的第一个 GPU 工作负载

为帮助你入门，我们准备了几个模板笔记本和入门指南： 

• 请参阅我们的 快速入门，几秒钟内即可连接 AI Runtime。 
• 请访问我们的 网页，了解更多关于 AI Runtime 的信息。
• 有兴趣在示例上试用 AIR 吗？ 克隆我们的 cookbook 仓库，只需一条 CLI 命令即可开始！

如需了解更多信息或有任何疑问，请联系你的客户团队！

来源：Databricks：Blog · databricks.com