Databricks Lakeflow Connect 如何统一生产力与 AI 数据接入

这是本系列的第二篇文章，探讨 Lakeflow Connect 如何为各业务线带来全托管的数据接入能力。继我们深入探讨统一营销数据之后，本文聚焦于释放困在组织生产力工具栈中的企业知识。我们将探索针对 wiki、项目管理工具和 AI 基础模型的原生连接器，如何为下游 AI 智能体提供所需的完整业务上下文。

一个平台，任意数据源

Lakeflow Connect 提供了一套全面的全托管原生连接器，覆盖 SaaS 应用、数据库和文件源，可将数据直接接入 Databricks Platform。每个连接器均可通过点击式 UI 或简单的 API 进行设置。随后，数据会以受治理的托管表形式增量接入 Unity Catalog，无需你自行预置、管理或扩展任何基础设施。

Lakeflow Connect 的接入连接器按客户需求优先级排序，覆盖各条业务线，包括 Customer 360、运营、财务和生产力——即最贴近日常工作的工具栈。

一个平台，覆盖所有生产力工具

普通公司的生产力工具栈由项目跟踪工具、wiki、文档存储、收件箱和 AI 工具杂乱拼凑而成，每个工具只承载了工作方式的一小部分。过去要提取这些数据，需要拼凑定制管道，构建缓慢且维护痛苦。门槛之高使得最具影响力的用例难以实现，例如：由企业内部知识驱动的 AI 智能体，或对运营分析的可视化洞察。

Lakeflow Connect 通过提供内置连接器，从整个生产力工具栈无缝接入数据，从而解决了这一问题：

• 协作：工作如何被跟踪和交付？ Jira、Monday.com、Smartsheet、Aha! 和 GitHub
• 企业知识：你的公司依靠哪些集体专业知识运转？Confluence、Notion、Glean、SharePoint 和 Google Drive
• 电子邮件：你的团队如何沟通？Outlook 和 Gmail
• AI：你的组织如何采用 AI？OpenAI 和 Anthropic

凭借如此广泛的连接器覆盖，Lakeflow Connect 成为接入引擎，将分散的生产力数据汇聚到一个受治理的基础之上，摆脱了传统上拖慢团队的集成瓶颈。

例如，Toyota Finance Australia 是全球最大汽车制造商之一的金融部门，它使用 Lakeflow Connect 将 Jira 数据接入 Databricks，形成全托管、零维护的管道。

“Lakeflow Connect for Jira 改变了我们在企业数据管理平台中接入和使用 Jira 数据的方式。迁移到 Databricks 提供的全托管、UI 驱动的体验后，我们获得了无缝、零维护的管道，它能自动处理 API 复杂性和 schema 变更，同时以极少的投入和最高的可靠性，在 Databricks Lakehouse 中交付受治理、可直接用于分析的 Delta 表。”—Charbel Khoury，Toyota Finance Australia Limited 数据办公室主管

另一家客户 VaxCare 是一家疫苗管理公司，运营着美国最大的初级保健疫苗接种网络，它使用 Lakeflow Connect 的 Confluence 连接器将其内部知识库接入 Databricks，并以此为基础构建 AI 智能体。

“Lakeflow Connect 的 Confluence 连接器为我们提供了一种无缝的方式，将内部知识库接入 Databricks，使这些数据可搜索、可操作，如今已可用于我们的聊天机器人——并且在我们构建未来的 AI 解决方案时随时为其提供支持。” —Yasaman Malone，VaxCare 优化与 AI 副总裁

非结构化内容，开箱即用，为 AI 做好准备

AI 智能体可以从公司的集体知识中即时提供有依据的答案，员工无需再在 wiki、网盘和收件箱之间四处搜寻。但智能体的表现取决于其背后的数据，而这些数据大多是非结构化的。借助 Lakeflow Connect，这不成问题；我们的连接器可以将文件、页面和消息等非结构化内容作为受治理的表落地到 Unity Catalog 中。具体的数据及其到达时的格式因来源而异：

• SharePoint：SharePoint 连接器会引入非结构化文件本身（PDF、Word 文档、幻灯片和图片）。每个非结构化文件作为一行落地，其原始字节存储在 content 列中（类型为 BINARY 或 FILE），并同时存储每个文件的元数据。结构化文件（Excel 文件、CSV 等）也可以直接作为 Delta 表落地。 
• Google Drive：Google Drive 连接器以相同方式处理非结构化文件，将每个文档的原始字节作为一行落地到 content 列中。结构化文件（Google Sheets、CSV 等）也可以直接作为 Delta 表落地。 
• Confluence：Confluence 连接器将每个页面和博客文章的内容以 STRUCT 类型引入 pages 和 blogposts 表的 body 字段中。 
• Outlook：Outlook 连接器将电子邮件正文以文本字符串（HTML 或纯文本）形式存储在 full_body_content 列中，并将附件以 BINARY 类型存储在 attachments 列中。两者都位于 email_messages 表中。
• Gmail：Gmail 连接器将完整的邮件正文作为文本字符串引入，保存在 messages 表中。它还会将每个附件的引用作为 attachmentId 摄取。
• GitHub：GitHub 连接器将仓库文本文件（源代码、Markdown 和配置）引入，存储在 repo_contents 表的 content 列中。

无论来源如何，内容都会作为受治理的表落地到 Unity Catalog 中，你可以在此开始对其进行转换，以供下游 AI 用例使用。

• 传入的文本（如 Confluence 页面、电子邮件正文和 GitHub 源文件）经过简单清理后即可进行分块和嵌入。 
• 另一方面，以原始字节形式到达的文档文件（如来自 SharePoint 和 Google Drive 的文件或来自 Outlook 的附件）会首先通过 ai_parse_document（Databricks 内置的文档智能）转换为文本。

无论哪种方式，你最终都会得到可用于检索索引、并可置于智能体背后的文本。如需深入了解文档处理，请观看这场点播会议 Intelligent Document Processing with Lakeflow；如需了解如何入门，请阅读下游 RAG 指南。

M3 Accounting 是一家领先的酒店业软件提供商，它使用 Lakeflow Connect 的 GitHub 和 SharePoint 连接器，将其工程和产品文档统一汇入 Databricks。

“我们几分钟内就启动并运行了 Lakeflow Connect GitHub 连接器。它通过自动将我们的 GitHub 数据与其他工程运营数据融合，每周为我们节省约一小时，让我们能够获得可实际采取行动的开发者活动全貌。我们将 Lakeflow Connect SharePoint 连接器指向产品文档库，一周之内我们的内部知识助手就能从实时、最新的内容中提取信息。无需自定义爬虫，无需文件同步脚本，只需一个连接器和一条管道。” —Ross Serven，M3 Accounting 数据与 AI 副总裁

用 Lakeflow Connect 治理你的 AI 支出

随着 AI 智能体和生成式工具在各团队间普及，关于支撑它们的模型的问题也随之而来：我们在花多少钱、谁在使用什么、是否合规？为帮助回答这些问题，Lakeflow Connect 为最大的基础模型提供商提供了连接器：

• OpenAI：OpenAI 连接器可引入用量、成本、API 密钥、项目、用户和审计日志，让你能够按团队归属 AI 支出并跟踪采用情况。
• Anthropic：Anthropic 连接器可引入审计日志、你组织的用户和角色，以及 claude.ai 聊天和消息的内容，让你能够治理该工具的使用方式。

具体而言，这能让你获得组织内 AI 使用和采用趋势的单一统一视图，从而衡量 AI 投资回报率并向利益相关者汇报。

构建 Atlassian 数据的完整视图

Lakeflow Connect 的生态系统覆盖深度还延伸至 Atlassian——这是任何工程或产品组织中使用最广泛的套件之一：

• Jira：Jira 连接器可引入问题、评论、冲刺、看板和自定义字段，让你能够跟踪交付情况并跨项目构建仪表板。
• Confluence：Confluence 连接器可引入页面和博客文章的全文，以及它们所属的空间、标签和附件，让团队的书面知识一进来就可供搜索和分析。

借助这两个连接器，你可以获得 Atlassian 数据的完整视图，将交付情况与围绕它的文档并排呈现。在此基础上，你可以跨项目跟踪发布、瓶颈和解决时间。你还可以构建 AI/BI 仪表板，并用自然语言向 Genie 询问其中任何内容。

例如，数字安全领域的全球领导者 Digicert 使用 Lakeflow Connect 的 Confluence 连接器，无需自定义管道的额外开销，即可可靠地为其内部 AI 知识助手提供支持。

“Lakeflow Connect 的 Confluence 连接器在让我们的 Databricks 知识助手与最新文档持续保持同步方面帮了大忙。它为我们提供了一种简单可靠的方式，将 Confluence 数据引入 Databricks，而无需承担构建和维护自定义管道的开销。这对我们的产品机器人尤其有价值，帮助它们保持最新状态，并为我们的团队提供准确、最新的知识。”—Nikita Raje，DigiCert 数据工程高级总监

另一家客户 Orizon 是一家巴西医疗科技公司，它使用 Lakeflow Connect 的 Jira 连接器为其领导层仪表板提供数据。

“借助 Lakeflow Connect Jira 连接器，我们将来自 168 个项目的超过一百万张工单引入 Databricks，每天全部同步，成功率达 100%。基于这些数据，我们构建了 AI/BI 仪表板，自动为我们的指导委员会驾驶舱提供数据。Genie 发挥了关键作用：我们用自然语言提问，它即刻给出答案。”—Gustavo Lima，Orizon 数据工程经理

有关 Jira 连接器的分步设置和调优指南，请参阅统一你的工程数据：Jira 数据摄取最佳实践。摄取 Jira 数据后，你还可以利用 Jira-Genie 解决方案加速器，只需几步即可将 bronze 表转换为开箱即用的 AI/BI 仪表板和 Genie 代理，并由 Unity Catalog 中受治理的指标视图提供支持。

一个基础，支撑所有分析或 AI 问题

由于每个连接器都会将数据作为受治理的 Delta 表落地到 Unity Catalog，你摄取的生产力和 AI 数据便与其余企业数据成为同一基础的一部分。在此基础上，你可以在 Databricks SQL 中与其他数据源一起直接查询它，使用 AI/BI Genie 以自然语言向其提问，并用 Agent Bricks 基于最新的公司知识为你构建的代理提供依据。

而且由于治理、血缘和访问控制都来自 Unity Catalog，无论数据最初来自哪个团队或工具，访问权限都保持一致。

TRegs 是一个面向资金管理、风险和监管报告的金融科技平台，它已经在这一基础上进行构建。

“我们需要在一个地方查看所有成本和预测。通过使用 Lakeflow Connect 将我们的 Monday.com 和 QuickBooks 数据引入 Databricks，我们现在可以驱动 Genie AI/BI 仪表板，获得当前和预计支出的完整 360 度视图，让我们的生活变得非常轻松。”—Smriti Raj，TRegs 总裁兼 CTO

Lakeflow Connect 正在积极推出覆盖各业务线的新连接器，并即将支持更多连接器！立即免费试用 Lakeflow Connect。

请关注本 Lakeflow Connect 博客系列的下一篇文章，继续了解如何将所有企业数据引入 Databricks，并为你的 AI 代理提供所需的完整上下文。