跳到正文
Databricks Blog·· 4 小时前AI 评分58

Databricks 详解 Delta Sharing 演进为 OpenSharing 的变化与后续计划

From Delta Sharing to OpenSharing: what changed, what's next

AI 导读

Databricks 与 Linux Foundation 于 2026 年 6 月宣布 Delta Sharing 演进为 OpenSharing,协议从共享表扩展到 Agent Skills、AI 模型和非结构化数据。

正文 · AI 翻译

Delta Sharing 已成为数千家组织跨云、跨平台交换实时数据而无需复制数据的方式。2026 年 6 月,Databricks 与 Linux 基金会宣布,Delta Sharing 已演进为 OpenSharing——一个开放、厂商中立的协议,不仅用于共享表,还用于共享 AI 团队如今所依赖的更广泛资产:智能体技能、AI 模型和非结构化数据。如果你已经在使用 Delta Sharing 共享数据,或者正在评估如何与合作伙伴在数据和 AI 资产上开展协作,本文将介绍 OpenSharing 究竟是什么、底层发生了哪些变化,以及该项目将走向何方。

简要回顾:Delta Sharing 解决了什么问题

当 Databricks 在 2021 年 Data + AI Summit 上推出 Delta Sharing 时,它所解决的核心问题说起来简单,做好却很难:组织希望与合作伙伴、客户和其他团队共享实时数据,而不必导出文件、搭建脆弱的 ETL 作业,或迫使每个接收方都使用同一平台。Delta Sharing 作为开放协议被贡献给 Linux 基金会,构建在 Delta Lake 和 Parquet 之上,因此提供方可以授予对某张表的访问权限,接收方则可以从 Apache Spark、Power BI、Tableau、pandas 等众多工具中直接、实时地查询该表。

这种开放的零复制模式引起了广泛共鸣。据 Databricks 称,Delta Sharing 已发展成为应用最广泛的安全数据共享开放协议,Amadeus、Atlassian、LSEG、SAP、Stripe 和 The Trade Desk 等组织都使用它进行跨云、跨平台协作(Databricks 新闻稿)。到 Databricks 于 2026 年 6 月宣布 OpenSharing 时,Delta Sharing 已覆盖超过 28,000 个数据接收方,其中约三分之一的共享通过开放连接器跨平台流动,而非停留在 Databricks 到 Databricks 的共享之内(Databricks 博客)。

为什么 Delta Sharing 需要演进

共享的范围早已远远超出表。通过 Databricks 到 Databricks 的共享,团队早在智能体出现之前数年就在交换视图、非结构化文件卷、笔记本和已注册的 ML 模型,因此结构化数据从来都不是全部。智能体改变的是需要移动的资产类型,以及这些资产需要传播多远。智能体技能、智能体本身以及它们运行所依赖的语义上下文,都需要共享已经验证过的同一种受治理的零复制访问方式。企业还希望这种访问能够跨平台,并超越 Databricks 到 Databricks 的连接,而该开放协议仍以表为中心,因此这些较新的资产落在开放、跨平台共享实际能够交付的范围之外。

与此同时,企业不断提出两项相关诉求:与 Apache Iceberg 等格式实现更广泛的互操作性,以及找到一种方法,将位于本地或私有云中的数据纳入同一受治理的共享模型,而无需先进行迁移。要弥补这两个缺口,意味着重新思考 Delta Sharing 的范围,而不仅仅是给它增加功能。

OpenSharing 究竟是什么

2026 年 6 月 10 日,Databricks 与 Linux 基金会联合宣布 OpenSharing 作为 Delta Sharing 的下一阶段演进(Databricks 新闻稿、Linux 基金会新闻稿)。这里需要精确表述,因为 OpenSharing 运行在两个不同的层面:

  1. 一个开源协议与规范,由 Databricks 贡献,现作为 Linux Foundation AI & Data Foundation 下的项目开发。该规范采用 Apache 2.0 许可,托管在 GitHub 上,任何厂商或社区成员都可以完全独立于 Databricks 来实现它(GitHub, OpenSharing)。
  2. Databricks OpenSharing,是该协议在 Databricks 平台内的企业级实现,与 Unity Catalog、Databricks Marketplace 和 Clean Rooms 集成。

开放生态的范围不止于协议本身。开源 Unity Catalog 是一个同样由 Linux Foundation 治理的 Apache 2.0 项目,为这些资产提供厂商中立的目录与治理层,因此团队可以将其与开源共享服务器搭配,完全在 Databricks 之外运行受治理的共享(GitHub, Unity Catalog)。

Databricks 联合创始人兼 CTO Matei Zaharia 如此阐述这一举措:“Delta Sharing 证明了行业会选择开放而非锁定。OpenSharing 将这一原则扩展到完整的 AI 栈,同时将跨平台生态扩展到 Iceberg 接收方和本地部署提供方”(Databricks 新闻稿)。Linux Foundation CEO Jim Zemlin 补充说,目标是“一个通用、厂商中立的框架,使组织能够跨平台和生态系统安全、可互操作地交换 AI 资产”(Linux Foundation 新闻稿)。

有一点需要事先说明:现有的 Delta Sharing 客户端和集成仍与 OpenSharing 兼容。这是协议的演进,而非断裂,delta-io/delta-sharing 仓库将继续与新的 OpenSharing-IO/OpenSharing GitHub 组织并存。

image2.jpg

示意图:Delta Sharing 演进为 OpenSharing,后者作为 GitHub 上的开放协议层加上 Databricks 企业实现层运作,并新增对 Iceberg REST Catalog 客户端以及本地部署或私有云存储的覆盖。

技术上有哪些变化

更广泛的资产模型。 最初的开放 Delta Sharing 协议以表为中心,尽管 Databricks 到 Databricks 的共享已扩展到覆盖更多资产类型。OpenSharing 将这一更广泛的模型纳入开放规范本身,并引入 Share → Schema → Asset 层级,将共享从 Tables 扩展到新的资产类型,包括 Volumes(任意格式的文件目录)、Agent Skills 和 AI 模型(GitHub, OpenSharing)。这意味着提供方可以打包一个数据产品,其中既包含底层表,也包含构建于其上的 AI 资产,并通过一个协议共享整个产品。

image1.jpg 

示意图:OpenSharing 的资产层级。Table、Volume、Agent Skill 和 Model 是目前已规范的资产类型。Agent 以及 Page 或 Glossary 类型被列为仍在讨论中的社区提案。

Iceberg REST Catalog 支持。 OpenSharing 新增对 Apache Iceberg REST Catalog(IRC)兼容客户端的支持,因此提供方可以将数据共享给任何 Iceberg 兼容引擎,而不仅是 Delta Sharing 原生客户端。Databricks 将此描述为将开放共享的覆盖范围扩展到以 Iceberg 工具为标准化的组织(Databricks 产品页面)。

本地部署与私有云覆盖。通过 Databricks Storage Ecosystem,存储厂商可以运行直接连接 Unity Catalog 的 OpenSharing 服务器,因此位于本地或私有云中的数据无需先迁移即可被治理和共享(Databricks 博客)。MinIO 的 AIStor 集成已正式可用,其他存储合作伙伴则处于预览阶段或已承诺在 2026 年晚些时候推出。

零拷贝凭证分发仍是核心模式。提供方不会为了共享而移动数据。共享服务器签发临时的、限定范围的凭证,而服务器本身位于数据路径之外,这与 Delta Sharing 的工作方式一致(GitHub, OpenSharing)。

新的共享能力。除了协议变更之外,Databricks 还在 OpenSharing 之上引入了多项能力:

  • SecureConnect(正式可用),这是一个由 Databricks 托管的代理,无需为每个新接收方配置防火墙或网络规则(Databricks 博客)。
  • Global Distribution(私有预览),可将共享数据复制到更靠近跨区域和跨云接收方的位置,以降低延迟并使出网成本更可预测。
  • Genie Agent Sharing(Beta),允许提供方与外部合作伙伴共享对其数据的对话式自然语言访问,并可控制配额以及暴露哪些底层逻辑。
  • Lakebase 表和变更数据流共享(公开预览),用于共享实时运营数据而无需单独的 ETL 步骤。

治理权移交 Linux 基金会。OpenSharing 已贡献给 Linux Foundation AI & Data Foundation,目前处于沙箱阶段,这是该基金会下新项目在进入孵化阶段之前的入口(GitHub, OpenSharing 和 opensharing.io)。规范变更通过公开提案和评审流程进行,而非单方面决定,这与 Delta Lake 和 Delta Sharing 作为 Linux 基金会项目所遵循的治理模式相同。

如果你已经在使用 Delta Sharing,这意味着什么

如果你目前已经设置了共享、接收方和连接器,这些都不会消失。OpenSharing 是增量式的:你现有的表、连接器和工作流继续有效,新的资产类型和能力可在你选择采用时使用。为 Unity Catalog 元存储启用 OpenSharing 是一个配置步骤,而非迁移,你熟悉的 Create Share、Create Recipient 和 Grant Access 工作流仍适用于新出现的资产类型(Databricks 文档)。

对于一直维护自定义集成以在平台之间移动智能体技能或模型产物的团队来说,实际的价值主张是一套用于发现、授权和访问的开放 API,而不是为每个合作伙伴和每种资产类型分别构建的定制管道。

路线图上还有什么

2026 年 6 月发布公告中描述的一些能力明确处于早期阶段,而非如今已普遍可用。外部 Iceberg 表共享允许提供方直接共享位于外部目录中的表,该功能在发布时处于公开预览阶段,正式可用被描述为即将推出。基于电子邮件的共享允许提供方通过输入电子邮件地址而非更长的设置流程来邀请协作者,在发布公告时也被列为即将推出。

除了 Databricks 已承诺交付的内容之外,OpenSharing 项目在 GitHub 上的公开路线图还列出了一系列社区提案,这些提案仍是开放的设计问题,而非最终确定的功能,包括支持以限定范围访问权限共享评估数据集和基准、带来源元数据的合成数据集共享,以及一个用于共享预计算向量索引的拟议资产类型(OpenSharing ROADMAP.md)。由于这些是社区提案,时间表和最终范围可能会变化,值得在 GitHub 上跟踪,而不应将其视为已承诺的日期。

OpenSharing 还处于更广泛、快速演进的 AI 开放标准体系中的特定层级。正如 Databricks 产品管理总监 Akram Chetibi 所描述的那样,用于智能体到工具以及智能体到智能体通信的协议所解决的问题与 OpenSharing 不同:“OpenSharing 提供用于发现和授权访问存储资产(例如智能体技能或 AI 模型)的 API”(diginomica)。如果你正在设计需要这两类协议协同工作的架构,理解这一区别很重要。

入门

如果你是 OpenSharing 的新手,入门路径与 Delta Sharing 一直以来的路径相同:在管理你要共享的数据的 Unity Catalog 元存储上启用 OpenSharing,创建一个包含你要公开的资产的共享,创建一个接收方,并授予该接收方访问权限(Databricks 文档)。在此基础上,你可以决定某个接收方应通过 Databricks 到 Databricks 共享、面向非 Databricks 接收方的 Databricks 到 Open 共享连接,还是在你希望完全在 Databricks 之外运行该协议时使用自托管的 OpenSharing 服务器。阅读文档时请注意,协议和品牌写作一个词 OpenSharing,而平台文档使用小写短语“Databricks-to-Open sharing”来指代与 Databricks 之外接收方共享的模式。

深入了解:

Delta Sharing 改变了团队对跨平台数据移动的认知。OpenSharing 将同样的开放、零拷贝方式扩展到智能体世界所依赖的各类资产。如果你目前已经在使用 Delta Sharing 共享数据,那么顺理成章的下一步就是审视你的技术栈中还有哪些内容可以用同样的方式共享,无论是智能体技能、模型,还是一组非结构化文件。不妨在你的工作区中为 Unity Catalog 元存储启用 OpenSharing,或者先阅读 GitHub 上的协议规范,了解自托管实现如何融入你自己的平台。

准备好试用 OpenSharing 了吗?在你的工作区中为 Unity Catalog 元存储启用它,或阅读 GitHub 上的协议规范,了解自托管实现如何适配你的平台。有疑问或反馈?请联系你的 Databricks 客户团队,在 OpenSharing GitHub 仓库中提交 issue,或加入 Databricks Community 参与讨论。

来源:Databricks Blog · databricks.com