跳到正文
Databricks Blog·· 3 小时前AI 评分38

Databricks 推出 Genie Migrate for Serverless,用智能体把经典工作负载迁到 Serverless

Introducing Genie Migrate for Serverless

AI 导读

Databricks 发布 Beta 版 Genie Migrate for Serverless,这是一个可将作业和 notebook 从经典计算迁移到 Serverless 计算的智能体。

正文 · AI 翻译

Databricks 中的无服务器计算提供了一种更简单、更快速的方式来运行你的数据和 AI 工作负载。它消除了管理基础设施的运维负担,自动处理预置、扩缩容和优化,让团队能够专注于业务成果。借助无服务器,组织可以更快行动、提升效率,并享受云原生计算的优势,而无需管理和维护复杂的集群。

仅在过去一年里,我们的无服务器使用量就成倍增长,如今已有数千家客户在其上运行笔记本和作业。大多数团队仍然拥有经典集群资源,他们希望迁移到无服务器世界,以获得成本与运维收益,而无需自行管理基础设施。逐个迁移每个工作负载的工作量,往往使我们的客户无法为现有工作负载解锁无服务器收益。

你可能已经见过这种情况。你选了一个作业,把它切换到无服务器,然后遇到错误、访问模式不兼容、Spark 配置不生效、某个库在经典集群上安装了但在无服务器上没有。本该一个下午完成的事拖成了数周,而大部分时间都花在你已经做过很多次的转换上。

不再如此!今天我们很高兴宣布推出 Genie Migrate for Serverless(Beta 版),这是 Databricks 的智能体,可将你的作业和笔记本从经典计算迁移到无服务器计算——轻松且毫不费力。工作负载迁移变成了一个审核并批准的步骤,而不是一个研究项目。

迁移过去掌握在从业者手中

到目前为止,将工作负载迁移到无服务器一直是手动操作。经典集群配置如何映射到无服务器、哪些库可以解析、哪些 Spark 配置仍然适用、工作负载需要哪种访问模式——这些知识存在于从业者的头脑中,也存在于运行笔记本或作业并阅读失败信息的反复试错中。

Genie Migrate for Serverless 将这种转换工作从你身上转移到平台上,就像无服务器将预置和扩缩容转移到平台上一样。留给你的只有判断:是否现在迁移某个工作负载、提议的更改看起来是否正确、迁移后的运行是否健康。智能体自行处理转换,以 diff 形式提出建议,供你在任何更改发生前审核。

为了构建成功的无服务器迁移工具,我们牢记以下关键原则:

  • 不破坏生产:业务关键型工作负载上的静默回归比完全不迁移更糟,因此智能体会先评估每个工作负载,并标记出哪些可以安全迁移。
  • 掌控每一项更改:能够看到哪些会变、哪些不会变,接受或拒绝每项提议的编辑,并确信不会触碰你未批准的代码。
  • 干净的回退:如果无服务器运行出了问题,可以几次点击就回到迁移前状态。

这三大需求塑造了迁移智能体的工作方式,下面的工作流定义了它如何执行迁移:评估哪些可以迁移、进行转换,并以可逆方式应用更改。

Genie Migrate for Serverless 的功能

  1. 评估:扫描你的作业并对资源进行分类,让你了解哪些今天就可以迁移、哪些需要管理员介入、哪些尚未准备好迁移。
  2. 翻译:提出工作负载实现无服务器化所需的基础设施和代码变更,每项变更都以带标签的差异形式呈现(并排展示哪些内容发生变化、哪些保持不变),供你审阅。
  3. 应用(可逆):验证翻译结果并在不抢占正在运行的工作负载的情况下应用它,同时保持原始工作负载完好无损,以便在无服务器运行不健康时回滚。

image2.png

该代理通过 Genie 中的 /compute migrate 斜杠命令在任何作业或笔记本中运行。它完全托管,无需任何设置即可开始扫描。由于由 Databricks 管理,该代理会在你自己的工作区内读取你的作业配置和工作负载代码。

让我们更深入地了解上面列出的每个方面。

评估

在你动手之前,该代理会扫描你的作业和笔记本,并为每个工作负载标记其无服务器就绪状态。你可以看到哪些工作负载是理想的迁移候选对象,而无需手动审计整个集群——省去了繁琐的手动发现和分类工作

image1.png

关于外部来源的简要说明:如果工作负载的真实来源位于工作区之外,例如由 Databricks Asset Bundles 管理的作业或 Git 文件夹中的笔记本,该代理目前还无法迁移它。对这些来源的支持即将推出。

翻译

一旦你选择一个符合条件的工作负载,迁移代理就会提出其实现无服务器化所需的变更,并在写入任何内容之前呈现给你审阅。在你批准之前,不会应用任何变更。

迁移代理会有效地翻译经典集群与无服务器之间不同的部分:

  • 计算配置:经典集群配置映射为无服务器计算选择。
  • 环境和库:库列表会针对无服务器运行时进行解析,并为无服务器合成环境定义。
  • Spark 配置:仍然适用的配置会被保留,不适用的配置会被呈现出来供你决定,而不是被静默移除。
  • 工作负载代码:当代码使用了无法在无服务器上运行的模式(例如与 Spark Connect 不兼容的 API)时,代理会重写它们并以差异形式展示变更。

每一项变更,包括代码重写,都以可审阅的差异形式呈现。在应用之前,代理会并排展示哪些内容将发生变化、哪些不会,这是一份你可以交给经理或值班轮换团队的明确契约。

查看最新演示,了解如何使用 Genie Migrate for Serverless 轻松迁移经典工作负载。

如果代理对某些事情不确定,例如某个 Spark 配置是否仍然需要,它会报告该配置而不是将其移除。一个配置在静态扫描看来可能未被使用,而运行时加载的监听器却依赖它。静默移除会丢弃团队所依赖的遥测数据。代理将这一决定留给你。

应用

应用迁移是你最容易暴露风险的环节,因此 Genie Migrate for Serverless 在这里最为保守。它目前会执行确定性的正确性检查,更深入的运行时验证即将推出。

  • 应用前验证:代理会检查翻译是否连贯、库依赖是否能在无服务器运行时上解析,以及配置是否能干净地应用,从而使故障在工作负载运行之前而非明天的 SLA 期间暴露出来。
  • 观察首次运行:由于更改会应用到克隆的作业,你可以先按需运行一次克隆,确认它在无服务器环境中运行正常,然后再将其推广到原始作业。这样,首次无服务器运行就在你的注视下进行,而不是无人值守。

如果你选择不迁移,克隆的作业或对笔记本的建议更改将不会被应用。

需要注意的一点是:如果你使用更改后的版本进行了测试,这不会撤销无服务器运行在此期间写入生产表的数据。

目前验证是静态的。它确认转换是合理的,而无需运行工作负载,并且它如实说明了已经证明和尚未证明的内容。更深入的检查即将通过沙盒验证推出。借助此功能,代理将能够在隔离的沙盒中运行迁移后的工作负载,而不影响你的生产表,并将其输出与经典基线进行比较——这样你就能在应用之前,而不是之后,看到关键作业的运行时和正确性信号。

批量迁移作业

在 Genie 中一次迁移一个工作负载对于少量作业来说效果很好。对于更大规模的作业群,你可以使用 Databricks CLI 在后台运行 Genie Migrate for Serverless。使用 compute-migrations 命令组从脚本启动多个作业的迁移,代理会在没有打开 Genie 会话的情况下为每个作业构建无服务器工作副本。在你审查并批准迁移之前,原始作业不会改变,批准后会保留作业的 ID、计划和权限。批量迁移目前支持作业(对笔记本的支持即将推出),并且需要 Databricks CLI 版本 1.24.0 或以上。

全貌

让我们把 Genie Migrate for Serverless 的三个关键能力重新组合起来:

  • 评估:识别并分类整个作业群中适合无服务器迁移的作业。
  • 转换:以带标签、可审查的差异形式提出基础设施和代码更改。
  • 可逆应用:目前执行确定性验证,沙盒验证即将推出。

以下是目前适合使用代理迁移的工作负载以及未来即将推出的内容的快速摘要。

image4.png

立即开始

你可以立即使用 Genie Migrate for Serverless 开始将工作负载迁移到无服务器环境。以下是开始方法:

  1. 开启测试版:在工作区预览设置中启用 Genie Migrate for Serverless,然后在 Genie 中对作业或笔记本运行 /compute migrate 以扫描符合条件的内容。
  2. 先选择低风险工作负载:迁移一个非关键作业或笔记本,在接触任何业务关键内容之前建立对流程的信心。
  3. 应用前先审查:阅读“将更改什么”和“不会更改什么”面板,并接受或拒绝每项建议的更改。
  4. 观察首次无服务器运行:确认迁移后的工作负载运行正常;你的原始内容保持不变,因此如果运行不正常可以回滚。
  5. 由此向外扩展:迁移其余符合条件的作业群,并使用需要管理员操作的横幅来解除需要设置的工作负载的阻塞。

Genie Migrate for Serverless 现已通过 Genie 中的 /compute migrate 命令在任何作业或笔记本上可用。我们正在与预览客户积极塑造沙盒验证能力,并继续演进代理,使无服务器迁移更快、更简单、更容易。

了解更多:

来源:Databricks Blog · databricks.com