Databricks 的 Genie ZeroOps 进入公测,可自动排查并修复数据管道问题
Genie ZeroOps, now in public beta: An autonomous agent that fixes data pipelines, with lessons from 80,000 customer issues
Databricks 宣布 Genie ZeroOps 进入公测,工作区管理员可在 Previews 页面开启。该智能体按检测、调查、验证、通知、修复五步处理数据管道故障,可自动创建 PR,但不会在人工审核前改动生产代码或数据。私测期间它覆盖数百家客户的 8 万多条真实问题,其中超过一半需要组织特有的知识才能定位和排序。
原文披露了私测阶段 8 万条真实问题的观察结果,以及自动排查到生成 PR 的五步流程,可帮助数据团队判断这类智能体能否接入现有运维。
今年六月,我们推出了 Genie ZeroOps,这是一个自主智能体,能够检测、调查并解决数据管道问题,例如上游 schema 变更或数据质量异常。基于与数百家客户进行的大量私有预览测试,我们新增了一些功能,帮助数据团队更快地分诊问题——包括收件箱共享、通知、一键创建 PR,以及添加自定义业务指令以遵循特定公司工作流的能力。今天,Genie ZeroOps 已进入公开测试阶段,你的工作区管理员可以从工作区预览页面开启它。
ZeroOps 如何分诊数据管道问题
数据工程团队正疲于奔命,每天要管理成千上万条管道。有些管道故障容易发现和修复——作业失败、管道更新报错,然后有人被呼叫。另一些则是静默的——某张表停止更新,或者昨晚的加载到达时行数只有平时的一半,直到仪表盘显示出错误的数字才有人注意到。
无论哪种情况,后续工作通常看起来都一样:发送通知,工程师花接下来几个小时手动调查日志、上游表和关联资产,最后生成一个包含修复的 PR。
Genie ZeroOps 在保持安全性、治理和推荐质量的同时,自动化了整个手动工作流,专门引导团队从最初的问题告警到拉取请求,跨越五个核心步骤:
- 检测:持续监控作业、管道和表以发现故障。通过作业监控检测硬性作业失败,通过数据质量监控检测静默的数据新鲜度和完整性问题。
- 调查:跨日志、源代码、表元数据和血缘收集上下文。运行 SQL 查询以精确定位根本原因,推荐修复方案,并按下游影响对洞察进行优先级排序。
- 验证:在沙箱中使用单元测试和试运行测试建议的修复,以在应用更改前安全地验证假设。
- 通知:向 Slack、Teams 或 PagerDuty 发送告警,包含问题摘要和建议的修复。过滤掉低优先级问题,帮助团队专注于紧急事项。
- 修复:提出代码修复,对于基于 Git 的作业,自动创建包含预填详细信息的 PR。
团队需要什么来更快地解决管道问题?
在有限的私有预览期间,ZeroOps 在数百家公司中观察了超过 80,000 个真实客户问题,凸显了管道维护已变得多么痛苦。我们发现超过一半的问题需要组织特定的知识才能正确分诊、排序和解决,这说明了自定义上下文的根本需求。通过这些反馈,我们识别并构建了每个团队成功使用 ZeroOps 所需的几个关键功能:
自助式解决方案在规模化时力不从心
在私有预览期间,我们与正在原型化内部 AI 分诊工具的客户进行了交流。我们了解到,虽然构建一个简单原型已变得更容易,但在生产环境中扩展自动化分诊会引入复杂的运营挑战,这些挑战会随时间累积:
- 系统维护:监控一个跨多个团队管理数千条管道的系统需要持续维护、跟踪服务级别协议,并在不同利益相关者之间协调通知。
- 治理与安全:有效的分诊需要访问源仓库、数据表和内部工具。在大规模下安全地配置用户和代理在这些系统中的访问级别是一项重大挑战。
- 自定义上下文扩展:可执行的 AI 建议需要自定义上下文,例如文档、部落知识和历史行为。摄取、扩展和管理这些上下文难以规模化。
- 准确性与漂移:上下文膨胀可能导致幻觉或随时间推移降低准确性。维护评估套件并监控建议质量需要持续的工程投入。
Genie ZeroOps 原生处理这些复杂性——利用对您的 Unity Catalog、元数据和管道血缘的直接访问,在完整上下文中解决问题。
立即开始
亲自试用 ZeroOps!请让工作区管理员启用 ZeroOps 功能。然后在管道页面顶部找到 ZeroOps 横幅:

如果您的团队需要帮助将 ZeroOps 投入生产环境,请联系您的客户团队,咨询我们提供的任何研讨会。
常见问题
Genie ZeroOps 能直接更改我的管道吗?
不能,未经您的直接批准,ZeroOps 绝不会更改您的代码或数据。目前,它会调查故障、提出修复方案,并可将该修复推送到新分支以创建拉取请求。未经人员先行审核,它绝不会更改生产代码或数据。
ZeroOps 如何检测静默数据质量问题?
它使用 数据质量监控 来标记提交异常延迟(新鲜度)或行数低于预期范围(完整性)的表。
ZeroOps 与让 Claude Code 之类的编码代理调试故障有何不同?
ZeroOps 在检测到问题后立即自动触发,无需提示,因此分析在任何人员查看之前就已准备就绪。它还内置了对运行历史、Unity Catalog 血缘、Delta 历史和 DQM 信号的访问权限,并在您的 Unity Catalog 权限范围内工作。
ZeroOps 读取哪些数据,在哪里处理?
根据文档,它会读取运行日志、源代码、上游表元数据和样本,同时遵守 Unity Catalog 权限。它使用由 Databricks 托管在我们安全边界内的模型。模型调用保留在您的工作区区域内,模型提供商不会保留提示或响应。
我能阻止 ZeroOps 就预期内的故障向我发出警报吗?
可以。添加自定义指令以过滤掉不需要的通知,或将洞察标记为“不是问题”。
来源:Databricks Blog · databricks.com