跳到正文
Databricks Blog·· 9 天前AI 评分22

如何用 Replit 和 Lakebase 在 Databricks 上构建受治理的企业应用

How to build governed enterprise apps on Databricks with Replit and Lakebase

AI 导读

Databricks 与 Replit 的集成已正式可用并原生支持 Lakebase,企业团队可用 Replit Agent 基于 Databricks 实时数据构建受治理应用,并部署为 Databricks Apps。

正文 · AI 翻译

Replit 与 Databricks 的结合为企业提供了一个从开发到部署的完整平台。通过这一集成,企业团队可以使用 Replit Agent 构建受治理的应用程序,该 Agent 可操作实时的 Databricks 数据,并将其部署到原生支持 Lakebase 的 Databricks Apps。无论用户是业务领导者、数据分析师还是开发者,都可以利用智能体编码,通过简单的自然语言提示创建生产级应用。

上个月,我们宣布 Replit | Databricks 集成已正式发布,并原生支持 Lakebase。在本文中,我们将超越已发布的内容,探讨其背后的原因——为什么企业团队会关注它、人们正在构建哪些应用,以及如何从零开始构建一个受治理的完整生产级应用。让我们依次回答这些问题。

为什么企业团队应该将 Replit 与 Databricks 结合使用?

许多企业面临一个困境。他们拥有受治理的数据平台,但运营经理、数据分析师和业务经理等最终用户仍然难以快速构建自定义应用来可视化和交互这些数据。

他们需要一种快速、无摩擦的方式来构建具有用户友好前端的应用、配置数据库、构建身份验证层、实施治理,并最终部署到生产环境。每个步骤都需要不同的团队和多个审批链。

以下是 Replit 与 Databricks 之间的集成如何缩短这一过程:

1. 公民开发者: Replit 允许业务用户用简单的语言描述应用。该智能体将构建前端以可视化/交互企业数据,并自动配置底层事务数据库。部署到 Databricks 时,Replit 将执行 Databricks 治理,因此构建者只能看到他们有权访问的数据

2. 内置治理: 应用作为 Databricks App 部署。每个应用都继承自动用户身份验证、安全访问控制以及与 Unity Catalog 的紧密集成。这节省了与安全和基础设施团队的多轮变更。

3. 原生 Lakebase 支持: 当应用准备好部署时,在后台,Replit Agent 将为你的应用运营数据自动配置一个 托管的 Lakebase Postgres 数据库。这使你的应用能够从 Databricks 读取实时分析数据,并将其自身数据写回 Lakebase。Lakebase 充当应用程序的持久数据存储。

重要的是要了解 Lakebase 与外部数据库的比较。过去,基于 Databricks 数据构建应用的团队不得不依赖外部 Postgres 或 MySQL 实例来存储应用需要维护的数据。这些数据(例如用户输入或应用执行状态)会位于 Databricks 之外,要求企业管理并行的治理基础设施和权限模型。使用 Lakebase,你不再需要这样做。

以下是比较:

 Lakebase外部数据库
事务数据位置在 Databricks 边界内数据在 Databricks 之外
权限运行时使用 Unity Catalog需要维护单独的模型
设置由 Replit Agent 自动配置手动配置、连接和安全设置
治理继承血缘、审计和访问控制需要单独的合规工作
成本模型无服务器,空闲时缩容至零始终在线或手动扩缩容

企业可以使用 Databricks 上的 Replit 构建各种现代应用。让我们来看看三个企业应用,它们展示了无限可能。

场景 1:面向运营负责人的绩效管理应用

运营负责人希望评估各个加盟店的绩效,并与特定的加盟店店主分享绩效分析。过去,公司一直依赖其 BI 开发人员来制作仪表板以进行此类分析。这样做的问题始终在于:开发需要时间,仪表板不容易支持自定义或采取行动,而且向下钻取以进入下一个问题总是很困难,甚至完全不可能。

然而,借助 Databricks 和 Replit,企业用户可以兼得两者之长——开发速度与企业治理/安全性。通过使用一个简单的提示,运营负责人就可以构建一个多页面的运营应用,而 Replit 智能体会按照运营负责人的规格生成整个应用。它直接从 Unity Catalog 下的 Lakehouse 仓库读取实时的、受治理的数据。在生产环境中,每个用户各自的令牌会被传递,从而使数据只能与那些被允许查看自己敏感数据集的特定加盟店店主共享。

这样的绩效应用可适用于零售运营仪表板、加盟店绩效跟踪器、区域销售视图、供应链状态。

场景 2:面向业务分析师的文件处理流水线

财务和运营分析师必须分析大量非结构化文档,如发票、表单和合同,并利用这些数据即时做出关键决策。

这些分析师可以创建文件处理流水线应用,用于摄取这些文档,并使用 Databricks AI 函数将其从非结构化文件(PDF、文档、图像)转换为结构化字段。该应用将允许他们查询这些文档,这些文档现在已作为结构化数据存储在 Lakebase 数据库中,并据此做出明智决策。

该应用广泛适用于发票处理、合同提取、理赔受理、监管文件解析。

场景 3:用于自动化手动工作流的全栈应用

每个组织都有若干手动工作流,需要处理电子表格、电子邮件线程以及位于不同位置的数据,以推动审批或报告更新。这可以很容易地通过一个应用来解决,该应用通过将所有数据汇集在一起并构建审批工作流引擎来自动化工作流。它从 Databricks 读取实时分析数据,并在人们使用时将新的运营数据捕获到 Lakebase 中。

我们已看到客户为审批工作流、项目受理系统、供应商管理工具、合规跟踪、内部请求门户构建了类似的应用。

如何将 Replit 与 Databricks Lakebase 配合设置?

通过一个四步流程,任何用户都可以使用 Replit 构建应用,并将其作为 Databricks 应用部署到 Databricks 环境中。首先将 Databricks 环境连接到 Replit,使用户能够根据提示构建自定义应用,将其原生部署到具有 Unity Catalog 治理的 Databricks Apps,并自动为应用数据配置 Lakebase 数据库。

以下是四步流程

入门需要三个角色,大约 15 分钟。你的 Databricks 工作区应为标准工作区,不带合规安全配置文件,且你的组织应使用 Replit Enterprise 方案。

下面的演练使用服务主体(M2M)连接器进行共享访问。Replit 还支持用户到机器(U2M)连接器,允许每个构建者使用自己的 Databricks 身份进行连接。请参阅此指南以选择正确的选项

第 1 步:创建服务主体(Databricks 管理员)

在 Databricks 账户控制台中:

  1. 为 Databricks ↔ Replit 连接创建服务主体
  2. 生成客户端 ID 和密钥
  3. 将服务主体分配到目标工作区
  4. 授予其适当的权限(通常是访问 SQL 仓库以及应用将使用的目录/模式)

权限授予示例:

第 2 步:添加 Databricks 连接器(Replit 组织管理员)

在 Replit 中:

  1. 导航到你的组织的连接器设置
  2. 添加一个新的 Databricks(服务主体)连接器
  3. 输入第 1 步中的客户端 ID 和密钥
  4. 可选地配置 RBAC 以控制哪些 Replit 用户可以使用该连接器

第 3 步:激活并连接(Replit Enterprise 用户)

  1. 在你的 Replit 项目中激活 Databricks 连接器
  2. 提供你的 SQL 仓库的 HTTP 路径和服务器主机名以完成连接

第 4 步:提示、构建和部署

  1. 用通俗语言描述你想要构建的应用,并说明你想使用的仓库和数据
  2. 跟随代理探索你的模式、生成查询并构建前端
  3. 在预览环境中测试
  4. 一键部署到 Databricks Apps

查看集成实际运行;

常见问题

什么是 Replit Databricks 集成? Replit 与 Databricks 的结合为企业提供了从开发到部署的完整平台。通过此集成,企业团队可以使用 Replit Agent 构建受治理的应用,这些应用运行在实时 Databricks 数据上,并借助原生 Lakebase 支持将其部署到 Databricks Apps。无论用户是业务负责人、数据分析师还是开发人员,他们都可以通过通俗语言的提示 vibe code 出一个生产应用

Replit 如何连接到 Databricks? Replit 同时支持用户到机器(U2M)OAuth(使用每个构建者自己的 Databricks 身份和权限)和服务主体(M2M)OAuth(使用共享服务身份)。本指南介绍服务主体设置。

什么是 Lakebase,为什么它对 Replit 应用很重要? Databricks Lakebase Postgres 是一项完全托管的无服务器 Postgres 服务,运行在 Databricks 环境内。对于 Replit 应用,它提供了一个事务性数据库,用于存储应用特定数据,如用户输入、应用执行状态,而无需一个位于 Databricks 环境之外的单独数据库。Replit Agent 在部署时自动配置 Lakebase 数据库。

非开发者能否在 Databricks 上使用 Replit 构建应用? 可以。Replit Agent 让业务用户用自然语言描述应用。这个 agent 不仅能构建用于可视化/交互企业数据的前端、配置底层事务数据库,还会强制执行治理,使他们只能看到在 Databricks 中被授权查看的数据,然后将其部署为生产就绪的应用。

在 Replit 构建的 Databricks 应用中,治理是如何强制执行的? 该应用会作为 Databricks App 部署。因此,每个应用都会自动继承用户身份验证、安全访问控制以及与 Unity Catalog 的紧密集成。这省去了与安全和基础设施团队的许多轮沟通。

Replit 应用能否将数据写回 Databricks? 可以。它可以将任何运营数据写入 Lakebase。该应用可以通过 SQL warehouse 从 Databricks 读取分析数据,并将运营数据(提交、审批、状态)写入 Lakebase Postgres 数据库。

什么是 Supervised AI Migration? Supervised AI Migration 确保 Replit Agent 提出的任何数据库 schema 变更在进入生产环境之前都需要团队批准。

什么是 Automated Preview Deploys? Automated Preview Deploys 让你在应用上线前进行测试。Replit 会创建一个单独的测试环境,以便团队可以在不影响生产环境的情况下在测试环境中构建、审查变更并进行调整。

Replit Databricks 集成的费用是多少? 该集成需要 Replit Enterprise 套餐以及 Databricks 用量(SQL warehouse 计算和 Lakebase)。Databricks 计算是无服务器的。因此,它会在负载下自动扩展,并在完成后空闲至零,所以你只需为实际用量付费。

我在哪里可以看到 Replit Databricks 集成的实际演示? 注册参加即将于 11 月 10 日(星期二)举行的网络研讨会“Build Full-Stack Apps on Databricks Lakebase”。观看完整的从构建到部署演示:How to Build Production-Ready Apps in Replit with Lakebase Postgres。 

后续步骤

来源:Databricks Blog · databricks.com