Databricks Lakeflow Connect 如何统一生产力工具与 AI 数据接入

Databricks：Blog·2026-10-27 07:20· 3 小时前AI 评分34

用 Lakeflow Connect 统一你的生产力数据与 AI 数据

AI 导读

Databricks 介绍 Lakeflow Connect 的原生连接器，可把 Jira、Confluence、Notion、SharePoint、Google Drive、Outlook、Gmail、GitHub 以及 OpenAI、Anthropic 等来源的数据以受治理表形式接入 Unity Catalog。

正文 · 原文

这是本系列的第二篇文章，主题是 Lakeflow Connect 如何为各业务线带来全托管的数据接入。继我们深入探讨统一营销数据之后，本文聚焦于释放困在组织生产力工具栈中的企业知识。我们将探讨面向 wiki、项目管理工具和 AI 基础模型的原生连接器，如何为下游 AI 智能体提供其所需的完整业务上下文。

一个平台，任意数据源

Lakeflow Connect 提供了一套全面的全托管原生连接器，覆盖 SaaS 应用、数据库和文件源，可将你的数据直接接入 Databricks Platform。每个连接器都可通过点击式 UI 或简单的 API 进行设置。随后，你的数据会以受治理的托管表形式增量接入 Unity Catalog，无需你自行预置、管理或扩展任何基础设施。

Lakeflow Connect 的接入连接器按客户需求优先级排序，覆盖各条业务线，包括 Customer 360、运营、财务和生产力——即与日常工作最贴近的工具栈。

一个平台，覆盖所有生产力工具

一般公司的生产力工具栈由项目跟踪工具、wiki、文档存储、收件箱和 AI 工具杂乱拼凑而成，每一部分只承载了工作如何完成的一个片段。要把这些数据提取出来，历来需要拼凑定制管道，构建缓慢且维护痛苦。门槛高到让最具影响力的用例难以企及，例如：由企业内网知识驱动的 AI 智能体，或对运营分析的可视化洞察。

Lakeflow Connect 通过提供内置连接器，从整个生产力工具栈无缝接入数据，从而解决这一问题：

• 协作：工作如何被跟踪和交付？ Jira、Monday.com、Smartsheet、Aha! 和 GitHub
• 企业知识：你的公司依靠哪些集体专业知识运转？Confluence、Notion、Glean、SharePoint 和 Google Drive
• 电子邮件：你的团队如何沟通？Outlook 和 Gmail
• AI：你的组织如何采用 AI？OpenAI 和 Anthropic

凭借如此广泛的连接器覆盖，Lakeflow Connect 成为接入引擎，将分散的生产力数据汇聚到一个受治理的基础之上，同时消除传统上拖慢团队的集成瓶颈。

例如，Toyota Finance Australia 是全球最大汽车制造商之一的金融部门，它使用 Lakeflow Connect 将 Jira 数据以全托管、零维护的管道接入 Databricks。

“Lakeflow Connect for Jira 彻底改变了我们在企业数据管理平台中接入和使用 Jira 数据的方式。迁移到 Databricks 提供的全托管、UI 驱动的体验后，我们获得了一条无缝、零维护的管道，它能自动处理 API 复杂性和 schema 变更，同时以极少的投入和最高的可靠性，在 Databricks Lakehouse 中交付受治理、可直接用于分析的 Delta 表。”—Charbel Khoury，数据办公室负责人，Toyota Finance Australia Limited

另一家客户 VaxCare 是一家疫苗管理公司，运营着美国最大的初级保健疫苗接种网络，它使用 Lakeflow Connect 的 Confluence 连接器将其内部知识库接入 Databricks，并以此为基础支撑一个 AI agent。

“Lakeflow Connect 的 Confluence 连接器为我们提供了一种无缝的方式，将内部知识库接入 Databricks，使这些数据今天就能被我们的聊天机器人搜索和利用——并已准备好在我们构建未来 AI 解决方案时为其提供支持。”—Yasaman Malone，优化与 AI 副总裁，VaxCare

非结构化内容，开箱即用为 AI 做好准备

AI agent 可以从公司的集体知识中即时提供有依据的答案，员工无需再在 wiki、网盘和收件箱之间四处搜寻。但 agent 的水平取决于其背后的数据，而这些数据大多是非结构化的。借助 Lakeflow Connect，这不成问题；我们的连接器可以将文件、页面和消息等非结构化内容作为受治理的表落地到 Unity Catalog 中。具体的数据及其到达时的格式因来源而异：

• SharePoint：SharePoint 连接器会引入非结构化文件本身（PDF、Word 文档、幻灯片和图片）。每个非结构化文件落地为一行，其原始字节存储在 content 列中（类型为 BINARY 或 FILE），并同时存储每个文件的元数据。结构化文件（Excel 文件、CSV 等）也可以直接作为 Delta 表落地。 
• Google Drive：Google Drive 连接器对非结构化文件的处理方式相同，将每个文档的原始字节作为一行落地到 content 列中。结构化文件（Google Sheets、CSV 等）也可以直接作为 Delta 表落地。 
• Confluence：Confluence 连接器将每个页面和博客文章的内容以 STRUCT 类型引入 pages 和 blogposts 表的 body 字段中。 
• Outlook：Outlook 连接器将电子邮件正文以文本字符串（HTML 或纯文本）形式存储在 full_body_content 列中，并将附件以 BINARY 类型存储在 attachments 列中。两者都位于 email_messages 表中。
• Gmail：Gmail 连接器将完整邮件正文作为文本字符串引入，保存在 messages 表中。它还会以 attachmentId 的形式摄取对每个附件的引用。
• GitHub：GitHub 连接器引入仓库文本文件（源代码、Markdown 和配置），存储在 repo_contents 表的 content 列中。

无论来源如何，内容都会作为受治理的表落地到 Unity Catalog 中，你可以在此开始对其进行转换，以供下游 AI 用例使用。

• 传入的文本（如 Confluence 页面、电子邮件正文和 GitHub 源文件）经过轻度清理后即可进行分块和嵌入。 
• 另一方面，以原始字节形式到达的文档文件（例如来自 SharePoint 和 Google Drive 的文件，或 Outlook 的附件），会先通过 ai_parse_document（Databricks 内置的文档智能）转换为文本。

无论哪种方式，最终都会得到可建立索引用于检索、并可置于智能体背后的文本。如需深入了解文档处理，请观看这场点播会议 Intelligent Document Processing with Lakeflow；如需了解如何入门，请阅读下游 RAG 指南。

M3 Accounting 是一家领先的酒店业软件提供商，它使用 Lakeflow Connect 的 GitHub 和 SharePoint 连接器，将其工程和产品文档统一汇入 Databricks。

“我们几分钟内就启动并运行了 Lakeflow Connect GitHub 连接器。它每周为我们节省约一小时，自动将我们的 GitHub 数据与其他工程运营数据融合，让我们能够全面了解开发者活动并真正据此采取行动。我们将 Lakeflow Connect SharePoint 连接器指向产品文档库，一周内就让内部知识助手从实时、最新的内容中提取信息。无需自定义爬虫，无需文件同步脚本，只需一个连接器和一条管道。” —Ross Serven，M3 Accounting 数据与 AI 副总裁

用 Lakeflow Connect 治理你的 AI 支出

随着 AI 智能体和生成式工具在各团队中普及，关于支撑它们的模型的问题也随之而来：我们在花多少钱、谁在使用什么、是否合规？为帮助回答这些问题，Lakeflow Connect 为最大的基础模型提供商提供了连接器：

• OpenAI：OpenAI 连接器可引入用量、成本、API 密钥、项目、用户和审计日志，让你能够按团队归属 AI 支出并跟踪采用情况。
• Anthropic：Anthropic 连接器可引入审计日志、你组织的用户和角色，以及 claude.ai 聊天和消息的内容，让你能够治理该工具的使用方式。

具体而言，这可以实现对组织内 AI 使用和采用趋势的统一视图，让你能够衡量 AI 投资回报率并向利益相关者报告。

构建 Atlassian 数据的完整视图

Lakeflow Connect 的生态系统覆盖深度也延伸到了 Atlassian——这是任何工程或产品组织中使用最广泛的套件之一：

• Jira：Jira 连接器可引入问题、评论、冲刺、看板和自定义字段，让你能够跟踪交付情况并跨项目构建仪表板。
• Confluence：Confluence 连接器可引入页面和博客文章的全文，以及其空间、标签和附件，让团队的书面知识一进来就可供搜索和分析。

借助这两个连接器，你可以获得 Atlassian 数据的完整视图，将交付情况与围绕它的文档并排呈现。由此，你可以跨项目跟踪发布、瓶颈和解决时间。你还可以构建 AI/BI 仪表板，并用自然语言向 Genie 询问任何相关内容。

例如，数字安全领域的全球领导者 Digicert 使用 Lakeflow Connect 的 Confluence 连接器，在没有自定义管道开销的情况下可靠地为其内部 AI 知识助手提供支持。

“Lakeflow Connect 的 Confluence 连接器在让我们的 Databricks 知识助手与最新文档持续保持同步方面帮了大忙。它为我们提供了一种简单、可靠的方式，将 Confluence 数据引入 Databricks，而无需承担构建和维护自定义管道的开销。这对我们的产品机器人尤其有价值，帮助它们保持最新状态，并为我们的团队提供准确、最新的知识。”—Nikita Raje，DigiCert 数据工程高级总监

另一家客户 Orizon 是一家巴西医疗科技公司，它使用 Lakeflow Connect 的 Jira 连接器为其领导层仪表板提供数据。

“借助 Lakeflow Connect Jira 连接器，我们将来自 168 个项目的超过一百万张工单引入 Databricks，每天全部同步，成功率 100%。基于这些数据，我们构建了 AI/BI 仪表板，自动为我们的指导委员会驾驶舱提供数据。Genie 发挥了关键作用：我们用自然语言提问，它即时给出答案。”—Gustavo Lima，Orizon 数据工程经理

有关 Jira 连接器的分步设置和调优指南，请参阅统一你的工程数据：Jira 摄取最佳实践。摄取 Jira 数据后，你还可以利用 Jira-Genie 解决方案加速器，只需几步即可将 bronze 表转换为开箱即用的 AI/BI 仪表板和 Genie 智能体，并由 Unity Catalog 中受治理的指标视图提供支持。

一个基础，支撑所有分析或 AI 问题

由于每个连接器都会将数据作为受治理的 Delta 表落地到 Unity Catalog，你摄取的生产力和 AI 数据便与其余企业数据成为同一基础的一部分。在此基础上，你可以在 Databricks SQL 中与其他数据源一起直接查询它，使用 AI/BI Genie 以自然语言向它提问，并用 Agent Bricks 基于最新的公司知识为你构建的智能体提供依据。

而且由于治理、血缘和访问控制都来自 Unity Catalog，无论数据最初来自哪个团队或工具，访问权限都保持一致。

TRegs 是一个面向资金管理、风险和监管报告的金融科技平台，它已经在这一基础上进行构建。

“我们需要在一个地方查看所有成本和预测。通过使用 Lakeflow Connect 将我们的 Monday.com 和 QuickBooks 数据引入 Databricks，我们现在可以驱动 Genie AI/BI 仪表板，获得当前和预计支出的完整 360 度视图，让我们的工作变得非常轻松。”—Smriti Raj，TRegs 总裁兼 CTO

Lakeflow Connect 正在积极推出覆盖各业务线的新连接器，并即将支持更多连接器！立即免费试用 Lakeflow Connect。

请关注本 Lakeflow Connect 博客系列的下一篇文章，继续了解如何将所有企业数据引入 Databricks，并为你的 AI 智能体提供所需的完整上下文。

来源：Databricks：Blog · databricks.com