Databricks AI Runtime 正式可用，把托管 GPU 训练搬进 Lakehouse

今天，我们很高兴地宣布 AI Runtime（AIR）正式全面可用，将全托管的 GPU 基础设施直接引入 Databricks，让客户能够在企业数据已经所在的地方训练其最严苛的模型。

很多时候，AI 团队花在保障 GPU 容量、处理故障和等待实验启动上的时间，比改进模型的时间还多。将 GPU 基础设施与 Lakehouse 分开运行会带来治理缺口，并使敏感的训练数据面临风险。随着编码智能体推动更多训练实验，这些瓶颈和风险也随之增加——这使得可靠、快速且受治理的基础设施变得至关重要。

AIR 将 GPU 基础设施、开发者工具和数据治理整合在一起，让团队能够大规模训练、更快迭代，并保障每个工作负载的安全，而无需管理单独的 GPU 技术栈。数百家公司，包括 Robinhood、PicPay、Merck、Flo Health、TinyFish 和 FactSet，已经在使用 AIR 训练深度学习模型并将其投入生产，用例涵盖医疗健康、制造业和面向消费者的智能体。我们自己的Databricks AI 研究团队使用 AIR来训练 KARL 和 AI Parse 背后的模型。

借助 AIR，客户可以：

• 利用省心的 GPU 基础设施进行大规模训练：以无服务器、按需方式访问先进 GPU，背后有可靠的多节点训练、优化的性能作为支撑，并经过 100,000+ GPU 小时训练运行的实战检验。
• 以近乎即时的启动延迟和便捷调试更快开展实验：自带代码、容器和 Ray 工作负载——并在支持 RDMA 的 GPU 上获得秒级启动延迟。环境缓存和内置调试工具可节省每个训练循环的时间。
• 保障并治理每个 GPU 工作负载： AIR 在 Databricks 和 Unity Catalog 的治理边界内运行，并依托多年来在无服务器安全方面的投入。AIR 有助于确保 GPU 工作负载保护宝贵的训练数据、遵守访问策略，并可被跟踪/审计。

省心的 GPU 基础设施

管理 GPU 基础设施需要大量的运维开销，从容量规划和节点维护到网络和监控。

借助 AIR，Databricks 承担配置 GPU、维护健康基础设施和优化工作负载的运维工作，让您的团队可以专注于训练：

• 按需获取所需的 GPU 容量。 Databricks 负责 GPU 采购、集群配置和网络，让您的团队无需构建和运营完整的 GPU 平台即可开始训练。
• 在健康的基础设施上放心扩展。 Databricks 在训练前和训练期间运行数十项 GPU 和网络健康检查，因此您的工作负载可以可靠地扩展到数百个 GPU。
• 默认高效训练：内置数据加载器会流式传输并缓存训练数据，以减少等待 I/O 的时间。使用 UCVolumeDataset 等工具提升数据吞吐量，无需构建自定义加载流水线。

借助 Databricks AI Runtime，我们将大规模训练从配备 8 块 A100 GPU 的单节点设置迁移到配备 16 块 H100 GPU 的多节点设置。这将训练时间从大约七天缩短到 48 小时，实现了 3.5 倍加速，使我们团队能够更轻松地迭代更大规模的模型实验，并更高效地训练。—Kostia Omelianchuk，Superhuman 应用研究科学家兼领域技术负责人

无论在哪里工作，都能使用 GPU

通过 CLI 访问 GPU，或在 Notebooks 或 IDE 中交互式访问。你的第一个工作负载只需一条 CLI 命令。借助 Databricks AIR Skills，从 K8S 或 SLURM 集群迁移只需一条自然语言提示。

借助 Lakeflow 自信地编排 GPU 工作负载

AIR 与 Lakeflow 原生集成，因此你可以让 GPU 工作负载与上游和下游流水线保持同步。迁移到生产环境只需额外几行 YAML，内置的优先级/抢占机制可最大限度减少 GPU 空闲时间，而 Genie ZeroOps 等监控工具可减少运维负担。

更快地实验、调试和迭代

分布式训练工作负载的设置和启动非常痛苦。AI 团队浪费时间配置训练环境、等待 GPU 集群启动，以及调试整个技术栈中的问题。

AIR 帮助你在几秒内从代码进入训练。你可以使用预构建环境，或 自带容器，并受益于高度优化的环境缓存，因此只需构建一次环境。AIR 兼容所有主流框架，包括 Ray，因此你可以以最少的配置迁移代码。  

Databricks AI Runtime 让我们能在数据已经所在的地方进行训练，并具备大规模模型训练所需的可靠性、安全性和性能。我们可以减少管理 GPU 基础设施的时间，把更多时间用于改进模型本身。—Vladislav Nedosekin，Flo Health 数据与 AI 平台工程总监

几秒内启动你的下一个实验

当你迭代和开发训练脚本时，每一秒的延迟都会被反复感受到。因此，我们 优化了预配技术栈的每一层，使工作负载——即使是配备数十块 GPU、支持 RDMA 的大规模集群——也能在几秒内启动。

在一个地方调试分布式训练

我们在 MLflow 中打造了全新的可观测性体验，MLflow 是业界领先的实验追踪工具。借助这一全新体验，调试提交后几秒内就开始流式输出的日志，只需在 AIR 命令中添加 –watch 即可。如需更深入的排查，你可以使用我们专为多节点训练打造的全新日志查看器。

在 Sonar，我们通过独立的代码验证与治理，帮助组织在其智能体软件工厂中建立代码信心。我们的一个研究工程师团队最近使用 Databricks AI Runtime 构建 LLM 训练流水线，并快速验证不同假设。AI Runtime 让我们能够快速从想法走向实验，并具备对流水线每个阶段的可观测性。—Joe Tyler，Sonar 首席 AI 研究员

Databricks 的 AI Runtime 极大简化了训练自定义 Text To Formula（TTF）模型的过程。无需搭建基础设施，也没有延迟，可以轻松根据提示词大小和输出 token 生成量选择合适的计算资源。这让我们能够快速推进、保持 Lakehouse 工作流，并在完整治理下交付高质量模型，将模型的搭建、训练和部署时间从数天缩短到数小时。—Nikhil Sunderraj，FactSet 首席机器学习工程师

借助内置 Genie Code 进行智能体调试

Genie Code 已嵌入整个用户体验中，并预置了智能体技能，帮助你调试问题并优化 GPU 训练性能。这些技能包含我们的研究与性能团队发现的洞察，例如我们如何在 AIR 上将 Qwen 训练时间缩短 6 倍。

在 Robinhood，AI Runtime 帮助我们的团队更快地从实验走向训练，而无需承担基础设施开销。微调无缝衔接，让我们能在数据所在之处进行训练，同时内置治理和数据管控。这意味着我们的工程师能把更多时间用于构建更好的模型，而更少用于管理复杂的 GPU 环境。—Robert Macy III，Robinhood 机器学习工程师

Databricks AI Runtime 让我们能在现有数据工作流中，直接利用无服务器 GPU 对数百万条记录进行分布式训练扩展。随着越来越多全球前 20 强生物制药公司依赖我们的模型来指导开发决策，这种速度和简洁性让我们的团队能够持续改进模型，而不是管理基础设施。—Eran Barash，QuantHealth 人工智能与机器学习副总裁

作为 Lakehouse 的一部分，保护并治理每一个 GPU 工作负载

将 GPU 基础设施与企业数据分开管理会造成治理缺口、访问控制碎片化以及不必要的数据副本。当智能体并行运行数百个训练实验时，团队需要确保敏感数据始终受到治理，工作负载保持安全隔离，而无需依赖人工监督。 OpenAI Huggingface 事件凸显了这一风险。 

AIR 将您可信的数据控制与治理扩展到每一个 GPU 工作负载。Unity Catalog 对 GPU 工作负载的各个方面（数据访问、检查点、日志等）强制执行一致的读/写权限，因此您的 GPU 平台与数据治理层现在使用完全相同的语言。 

隔离工作负载并控制网络访问

AIR 依托多年来在无服务器安全、隔离和私有网络方面的投入。与暴露主机内核的 GPU 隔离机制不同，AIR 具备虚拟机级隔离，支持 PrivateLink 和无服务器出口控制。因此，与传统系统相比，AIR 为训练工作负载提供了强得多的保护。 

了解您的 GPU 预算花在了哪里

通过Databricks 计费系统表，与其他 Databricks 工作负载一起跟踪 AIR 的使用情况和成本。使用工作负载级的使用记录，识别哪些训练工作负载消耗了您的 GPU 预算，并为未来的运行决策提供依据。 

借助 Databricks AI Runtime 和 Serverless，我们能够更快地扩展 LLM 训练和推理，处理更大的模型、多块 H100 GPU 和海量数据。与我们现有管道的集成，加上 Databricks 的编排和监控能力，使端到端工作流更简单、更高效，减少了基础设施复杂性和开发周期时间。—Vitor Rolim，PicPay 资深机器学习工程师

对我们来说，训练模型只是问题的一部分。我们需要知道某项改动是否真的能让智能体更好地完成真实任务，然后能够迅速将这一改进投入生产。借助 AI Runtime，我们可以在 GPU 上训练、用 MLflow 评估，并部署我们的 Web 原生模型，而无需为每个阶段构建单独的栈。—Zach Richardson，TinyFish AI 负责人

开始您的第一个 GPU 工作负载

为帮助您入门，我们准备了若干模板笔记本和入门指南： 

• 请参阅我们的快速入门，几秒钟内即可连接到 AI Runtime。 
• 请访问我们的网页，了解更多关于 AI Runtime 的信息。
• 有兴趣通过示例试用 AIR 吗？ 克隆我们的 cookbook 仓库，只需一条 CLI 命令即可开始！

如需了解更多信息或有任何疑问，请联系您的客户团队！