Databricks 推出 Genie Migrate for Serverless,用智能体把经典工作负载迁到 Serverless
Databricks 发布 Beta 版 Genie Migrate for Serverless,这个智能体可把作业和 notebook 从经典计算迁移到 Serverless 计算。它先评估哪些工作负载可迁移,再把计算配置、库与 Spark 配置、代码改动以 diff 形式提交审核,确认后才应用并支持回退。用户可在 Genie 中用 /compute migrate 命令启动,无需额外配置。
Databricks:Blog·2026-11-19 05:00· 2 小时前AI 评分47
推出 Genie Migrate for Serverless
AI 导读
Databricks 发布 Beta 版 Genie Migrate for Serverless,这个智能体可把作业和 notebook 从经典计算迁移到 Serverless 计算。它先评估哪些工作负载可迁移,再把计算配置、库与 Spark 配置、代码改动以 diff 形式提交审核,确认后才应用并支持回退。用户可在 Genie 中用 /compute migrate 命令启动,无需额外配置。
正文 · 原文
Databricks 中的 Serverless 计算提供了一种更简单、更快速的方式来运行你的数据和 AI 工作负载。它免除了管理基础设施的运维负担,自动处理预配、扩缩容和优化,让团队能够专注于业务成果。借助 Serverless,组织可以更快行动、提升效率,并享受云原生计算的优势,而无需管理和维护复杂的集群。
仅在过去一年里,我们的 Serverless 使用量就成倍增长,如今已有数千家客户在其上运行 notebook 和作业。大多数团队仍拥有经典集群,希望将其迁移到 Serverless 世界,以获得成本与运维优势,而无需自行管理基础设施。逐个迁移每个工作负载的工作量,往往使我们的客户无法为现有工作负载解锁 Serverless 的优势。
你可能见过这种情况:你选了一个作业,把它切换到 Serverless,然后遇到错误、访问模式不兼容、Spark 配置不生效、某个库在经典集群上安装了但在 Serverless 上没有。本应花一个下午的事拖成了数周,而大部分时间都花在你已经做过很多次的转换上。
不再如此!今天我们很高兴宣布推出 Genie Migrate for Serverless(Beta 版),这是 Databricks 的智能体,可轻松、毫不费力地将你的作业和 notebook 从经典计算迁移到 Serverless 计算。工作负载迁移变成了一个审核并批准的步骤,而不是一个研究项目。
迁移过去掌握在从业者手中
到目前为止,将工作负载迁移到 Serverless 都是手动完成的。经典集群配置如何映射到 Serverless、哪些库可以解析、哪些 Spark 配置仍然适用、工作负载需要哪种访问模式——这些知识都存在于从业者的头脑中,以及运行 notebook 或作业并阅读失败信息的试错过程中。
Genie Migrate for Serverless 将这种转换从你身上转移到平台上,就像 Serverless 将预配和扩缩容转移到平台上一样。留给你的只有判断:是否现在迁移某个工作负载、提议的更改是否看起来正确、迁移后的运行是否健康。智能体自行处理转换,以 diff 形式提出建议,供你在任何更改发生前审核。
为了构建成功的 Serverless 迁移工具,我们牢记以下关键原则:
- 不破坏生产环境:业务关键型工作负载上的静默回归比完全不迁移更糟,因此智能体会先评估每个工作负载,并标记出哪些可以安全迁移。
- 掌控每一处更改:能够看到哪些会变、哪些不会变,接受或拒绝每项提议的编辑,并确信不会触碰你未批准的代码。
- 干净的回退:如果 Serverless 运行出现问题,只需点击几下即可回到迁移前的状态。
这三个需求决定了迁移代理的工作方式,下面的工作流定义了它如何执行迁移:评估哪些可以迁移、翻译它,并以可逆的方式应用变更。
Genie Migrate for Serverless 的功能
- 评估:扫描你的作业并对整个作业群进行分类,让你了解哪些今天就能迁移、哪些需要管理员介入、哪些尚未准备好迁移。
- 翻译:为工作负载提出无服务器所需的基础设施和代码变更,每项变更都以带标签的差异形式呈现(并排展示哪些会变、哪些保持不变),供你审阅。
- 应用(可逆):验证翻译结果并在不抢占运行中工作负载的情况下应用它,保持原始工作负载完好,以便在无服务器运行不健康时回滚。

该代理通过 Genie 中的 /compute migrate 斜杠命令在任意作业或笔记本上运行。它完全托管,无需任何设置即可开始扫描。由于由 Databricks 托管,代理会在你自己的工作区内读取你的作业配置和工作负载代码。
让我们进一步深入了解上面列出的各个领域。
评估
在你动手之前,代理会扫描你的作业和笔记本,并为每个工作负载标记其无服务器就绪状态。你可以看到哪些工作负载是理想的迁移候选,而无需手动审计整个作业群——省去繁琐的手动发现和分类工作

关于外部来源的简要说明:如果工作负载的真实来源位于工作区之外,例如由 Databricks Asset Bundles 管理的作业或 Git 文件夹中的笔记本,代理目前还无法迁移它。对这些来源的支持即将推出。
翻译
一旦你选择一个符合条件的工作负载,迁移代理就会提出其无服务器所需的变更,并在写入任何内容之前呈现给你审阅。在你批准之前,不会应用任何变更。
迁移代理会有效地翻译经典与无服务器之间存在差异的部分:
- 计算配置:经典集群配置映射为无服务器计算选择。
- 环境和库:库列表会针对无服务器运行时进行解析,并为无服务器合成环境定义。
- Spark 配置:仍然适用的配置会被保留,不适用的配置会被呈现出来供你决定,而不是被静默移除。
- 工作负载代码:当代码使用了无法在无服务器上运行的模式(例如与 Spark Connect 不兼容的 API)时,代理会重写它们并以差异形式展示变更。
每一项变更,包括代码重写,都以可审阅的差异形式呈现。在应用之前,代理会并排展示哪些会变、哪些不会变,这是一份你可以交给经理或值班轮班的明确契约。
查看最新演示,了解如何使用 Genie Migrate for Serverless 轻松迁移经典工作负载。
如果代理对某些事情不确定,例如某个 Spark 配置是否仍然需要,它会报告该配置而不是移除它。一个配置在静态扫描中可能看起来未被使用,而运行时加载的监听器却依赖它。静默移除会丢弃团队所依赖的遥测数据。代理将这一决定留给你。
应用
应用迁移是你最容易暴露风险的环节,因此 Genie Migrate for Serverless 在这里最为保守。它目前会执行确定性的正确性检查,更深入的运行时验证即将推出。
- 应用前验证:代理会检查翻译是否连贯、库依赖能否在无服务器运行时中解析,以及配置能否干净地应用,从而让故障在工作负载运行之前就暴露出来,而不是在明天的 SLA 期间才出现。
- 受关注的首轮运行:由于更改会应用到克隆的作业上,你可以按需运行一次克隆,以确认它在无服务器环境中运行正常,然后再将其提升到原始作业上。这样,首次无服务器运行就在你的注视下进行,而不是无人值守。
如果你选择不迁移,克隆的作业或对笔记本的建议更改将不会被应用。
有一点需要谨慎:如果你用更改后的版本进行了测试,这不会撤销无服务器运行在此期间写入生产表的数据。
目前验证是静态的。它确认翻译是可靠的,但不运行工作负载,并且如实说明它已经证明了什么、尚未证明什么。更深入的检查即将通过沙箱验证推出。借助它,代理将能够在隔离的沙箱中运行迁移后的工作负载,而不影响你的生产表,并将其输出与经典基线进行比较——这样你就能在应用之前,而不是之后,对一个关键作业获得运行时和正确性信号。
批量迁移作业
在 Genie 中一次迁移一个工作负载对于少量作业来说效果不错。对于更大规模的作业群,你可以使用 Databricks CLI 在后台运行 Genie Migrate for Serverless。使用 compute-migrations 命令组从脚本中为多个作业启动迁移,代理会在没有打开 Genie 会话的情况下为每个作业构建无服务器工作副本。在你审查并批准迁移之前,原始作业不会改变,批准后会保留作业的 ID、计划和权限。批量迁移目前支持作业(对笔记本的支持即将推出),并且需要 Databricks CLI 1.24.0 或更高版本。
全貌
让我们把 Genie Migrate for Serverless 的三项关键能力重新组合起来:
- 评估:识别并分类整个作业群中适合无服务器迁移的作业。
- 翻译:以带标签、可审查的差异形式提出基础设施和代码更改。
- 可逆地应用:目前执行确定性验证,沙箱验证即将推出。
以下是目前适合使用代理迁移的工作负载以及未来将支持的内容的快速摘要。

立即开始
你今天就可以使用 Genie Migrate for Serverless 开始将工作负载迁移到无服务器。以下是开始方法:
- 开启测试版:在工作区预览设置中启用 Genie Migrate for Serverless,然后在 Genie 中对作业或笔记本运行
/compute migrate以扫描哪些符合条件。 - 先选择低风险工作负载:迁移一个非关键作业或笔记本,在接触任何业务关键内容之前先建立对流程的信心。
- 应用前先审查:阅读“将更改什么”和“不会更改什么”面板,并接受或拒绝每项建议的更改。
- 关注首次无服务器运行:确认迁移后的工作负载运行正常;你的原始作业保持不变,因此如果运行不正常可以回退。
- 由此向外扩展:迁移其余符合条件的作业群,并使用“需要管理员操作”横幅来解除需要设置的工作负载的阻塞。
Genie Migrate for Serverless 现已通过 Genie 中的 /compute migrate 命令提供,适用于任何作业或笔记本。我们正与预览客户积极完善沙箱验证能力,并持续演进该 agent,使无服务器迁移更快、更简单、更轻松。
了解更多:
来源:Databricks:Blog · databricks.com
来源:RadarAI · aihot.news