跳到正文
RadarAI· Databricks:Blog(RSS)·· 6 小时前AI 评分62

Databricks Genie ZeroOps 进入公开测试,自动检测并修复数据流水线问题

AI 导读

Databricks 宣布自主智能体 Genie ZeroOps 进入 Public Beta,工作区管理员可在 Previews 页面开启。它按 Detect、Investigate、Verify、Notify、Remediate 五个步骤处理流水线故障,并新增收件箱共享、通知、一键创建 PR 和自定义业务指令。

正文 · AI 翻译

Databricks:Blog·2026-11-20 05:30· 2 小时前AI 评分51

Genie ZeroOps 现已进入公开测试版:一个可修复数据流水线的自主智能体,以及来自 80,000 个客户问题的经验教训

AI 导读

Databricks 宣布自主智能体 Genie ZeroOps 进入 Public Beta,工作区管理员可在 Previews 页面开启。它能检测、调查并修复数据流水线问题,覆盖 Detect、Investigate、Verify、Notify、Remediate 五个步骤,新增收件箱共享、通知、一键创建 PR 和自定义业务指令等功能。

正文 · 原文

今年 6 月,我们推出了 Genie ZeroOps,这是一个自主智能体,可检测、调查并解决数据流水线问题,例如上游 schema 变更或数据质量异常。基于与数百家客户进行的大规模私有预览测试,我们新增了一些功能,帮助数据团队更快地分诊问题——包括收件箱共享、通知、一键创建 PR,以及添加自定义业务指令以遵循特定公司工作流的能力。如今,Genie ZeroOps 已进入 Public Beta,你的工作区管理员可以从工作区 Previews 页面开启它。

ZeroOps 如何分诊数据流水线问题

数据工程团队正不堪重负,每天要管理成千上万条流水线。有些流水线故障容易发现和修复——作业失败、流水线更新报错,然后有人被呼叫。另一些则是静默的——某张表停止更新,或者昨晚的加载到达时只有平时一半的行数,直到某个仪表盘显示出错误数字才有人注意到。

无论哪种情况,后续工作通常看起来都一样:发送通知,工程师花接下来几个小时手动调查日志、上游表和相关资产,最后生成一个包含修复的 PR。

Genie ZeroOps 在保持安全性、治理和推荐质量的同时,自动化这整个手动工作流,专门引导团队从最初的问题告警走到 pull request,涵盖五个核心步骤:

  • Detect:持续监控作业、流水线和表以发现故障。通过作业监控检测硬性作业失败,并通过数据质量监控检测静默的数据新鲜度和完整性问题。
  • Investigate:跨日志、源代码、表元数据和血缘收集上下文。运行 SQL 查询以精确定位根因、推荐修复方案,并按下游影响对洞察进行优先级排序。
  • Verify:在沙箱中使用单元测试和试运行测试提议的修复,在应用更改前安全验证假设。
  • Notify:向 Slack、Teams 或 PagerDuty 发送告警,包含问题摘要和推荐修复方案。过滤掉低优先级问题,帮助团队专注于紧急事项。
  • Remediate:提出代码修复,对于由 Git 支持的作业,自动创建包含预填详细信息的 PR。
View of ZeroOPs inbox listing recent incidents
ZeroOPs 收件箱列出近期事件的视图

团队需要什么才能更快解决流水线问题?

在有限的私有预览期间,ZeroOps 在数百家公司中观察了超过 80,000 个真实客户问题,凸显了流水线维护已变得多么痛苦。我们发现,超过一半的问题需要组织特定知识才能正确分诊、排序和解决,这说明了自定义上下文的根本需求。通过这些反馈,我们识别并构建了每个团队成功使用 ZeroOps 所需的几项关键功能:

DIY 解决方案在大规模场景下力不从心

在私密预览期间,我们与正在构建内部 AI 分诊工具原型的客户进行了交流。我们了解到,虽然构建一个简单的原型已经变得更加容易,但在生产环境中扩展自动化分诊会引入复杂的运营挑战,这些挑战会随着时间推移而不断累积:

  • 系统维护:监控一个跨多个团队管理数千条管道的系统需要持续维护、跟踪服务级别协议,并在不同利益相关者之间协调通知。
  • 治理与安全:有效的分诊需要访问源代码仓库、数据表和内部工具。在大规模场景下安全地配置这些系统中的用户和代理访问级别是一项重大挑战。
  • 自定义上下文扩展:可执行的 AI 建议需要自定义上下文,例如文档、团队隐性知识和历史行为。摄取、扩展和管理这些上下文很难规模化。
  • 准确性与漂移:上下文膨胀可能导致幻觉或随时间推移降低准确性。维护评估套件并监控建议质量需要持续的工程投入。

Genie ZeroOps 原生处理这些复杂性——利用对您的 Unity Catalog、元数据和管道血缘的直接访问,在完整上下文中解决问题。

立即开始

亲自试用 ZeroOps!请让工作区管理员启用 ZeroOps 功能。然后在管道页面顶部找到 ZeroOps 横幅:

Try ZeroOps

阅读文档以了解更多关于如何开始的详细信息。

如果您的团队需要帮助将 ZeroOps 引入生产环境,请联系您的客户团队,咨询我们提供的相关研讨会。

常见问题

Genie ZeroOps 可以直接更改我的管道吗?

不可以,未经您的直接批准,ZeroOps 绝不会更改您的代码或数据。目前,它会调查故障、提出修复建议,并可将该修复推送到新分支以创建拉取请求。未经人工先行审核,它绝不会更改生产代码或数据。

ZeroOps 如何检测静默数据质量问题?

它使用 数据质量监控 来标记提交异常延迟(新鲜度)或行数低于预期范围(完整性)的表。

ZeroOps 与让 Claude Code 之类的编码代理调试故障有何不同?

ZeroOps 在检测到问题时无需提示即自动触发,因此分析会在任何人查看之前就准备就绪。它还内置了对运行历史、Unity Catalog 血缘、Delta 历史和 DQM 信号的访问权限,并在您的 Unity Catalog 权限范围内工作。

ZeroOps 读取哪些数据,在哪里处理?

根据文档,它会读取运行日志、源代码、上游表元数据和样本,同时遵守 Unity Catalog 权限。它使用由 Databricks 托管在我们安全边界内的模型。模型调用保留在您工作区所在的区域,模型提供商不会保留提示或响应。

我可以阻止 ZeroOps 就预期内的故障向我发出警报吗?

可以。添加自定义指令以过滤掉不需要的通知,或将某个洞察标记为“不是问题”。

来源:Databricks:Blog · databricks.com

来源:RadarAI · aihot.news