Atlassian 如何在 Databricks 上基于 OCSF 构建安全湖仓

挑战：二十年积累的全球规模日志噪音

Atlassian 是一家全球 SaaS 提供商，服务 350,000 家客户——这是 20 年增长和一系列收购的成果，每一次收购都带来了自己的日志格式。结果是一个安全数据管道，每天吸收 440 亿个事件，而各种日志源之间却没有共同语言。

"你有各种不同的时间戳，你有专有模式，任何试图组织和结构化这些信息的人都会面临运营消耗，"Atlassian 高级安全日志工程师、OCSF 模式维护者 Zachary Schmerber 解释道。分析师们在数据落地之后花费大量时间进行规范化，跨平台关联受到限制，因为数据存在于不同的位置和形态中，而 SIEM 管道也跟不上节奏。

团队需要一种方法，将碎片化的遥测数据汇聚到一个地方并使其有意义，同时保持灵活性并避免供应商锁定。

解决方案：安全湖仓上的开放模式

Atlassian 的答案是：将所有内容标准化到 开放网络安全模式框架（OCSF） 上，并在 Databricks 上构建湖仓。

OCSF 胜出，因为它是团队认为完全开放的唯一选择。与 ECS 或 UDM 等替代方案相比，它提供了强类型模式和强大的验证，最大限度地减少了转换后的歧义，具有良好的压缩效率、可扩展性，以及一个开源社区（得到 Linux 基金会支持，并有通往国际标准化的路径）。它大约 40,000 个字段起初看起来令人生畏——但这种冗长最终成为该平台最大的资产，因为语义上下文始终与数据相伴。

"在调查中，单个查询可以命中许多不同的数据源——因为数据是结构化的，"Schmerber 说。"也许你的系统里有五个漏洞扫描器。现在你只有一个数据集，而不是五个。"

Databricks 是自然的平台。原生 ACID 事务使得跨模式版本迁移变得容易得多，而不会破坏下游消费者；自动扩展的 Spark 集群处理共享的高容量工作负载；该平台旨在管理大型多团队组织的基础设施开销。Atlassian 特意选择了 ETL 而非 ELT——在传输过程中转换数据——以实现实时检测、保持供应商独立性，并在数据通过管道时进行压缩。

表优化带来了显著的性能提升。借助结构化的 OCSF 数据，分区和 Z-ORDER 将一个代表性查询从约 45 秒缩短到 2–3 秒——提升了 95%，在更大的查询上也有类似的收益。启用 Graviton 集群与 Photon 将查询成本和运行时间减少了约三分之二。

类型安全：将模式嵌入代码

一个决定性的工程决策是将整个 OCSF 模式嵌入 Go 结构体——团队称之为 "TypeGo"。由于模式存在于类型系统中，正确性在编译时得到保证。

"每次生成新的 OCSF 日志时，它都是经过预验证的——因为它只能是 OCSF，不可能是别的，"Schmerber 说。嵌套对象是原生的，部署可以在任何地方运行，而且所有内容都经过单元测试。至关重要的是，这种类型安全也驯服了 AI：当团队用智能体工作流自动化转换时，严格的模式大幅减少了幻觉并削减了 token 用量，因为智能体无法生成无效映射，也无法在糟糕的迭代中反复循环。

从"映射即服务"到自助服务平台

最大的转变在运营层面。Atlassian 的安全数据工程团队最初采用六阶段手动流程来收集日志、将其转换为 TypeGo、路由、测试、配置，并通过 PR 发布。随着时间推移，他们几乎将这一切自动化——最终将其作为自助服务平台交还给客户。

现在，分析师确定他们想要的日志并提供规范数据集。经过带门控的确认后，工作流会扫描 Go 结构体中的框架，生成映射和 DAG，在本地测试，通过 PR 部署金丝雀配置，在金丝雀环境中大规模验证，并在经过一段观察期后晋升到生产环境，同时将任何错误通知用户。回归测试在生产之前对一切进行把关。

工具链包括一个模式映射 IDE 和一个开源的 Go OCSF 库，具备验证性能增强、未映射字段的自动处理、模式辅助工具（IP 路径、规范化）以及智能路由。回报是极低的入门成本："我现在可以让一名 SOC 分析师在生产环境中完成首席数据工程师的工作，"Schmerber 说——同时每一项变更仍会经过审查。

加速效果十分显著："我花了一年时间才映射出我们今天已映射数据的大约三分之一，"Schmerber 指出，"而映射另外三分之二只用了两个月。"

更好的检测：从一对一告警到信号

对于检测与响应团队来说，标准化改变了告警的编写方式。"采用 OCSF 模式使我们能够改造威胁检测流水线，从一对一告警转向基于信号和风险的检测方法，将多个信号发现聚类到单个告警中，"Atlassian 检测与响应团队的 Jordan 说。

使用一个名为 Alert Explorer 的自定义工具，发现结果围绕标准化的 OCSF 值进行聚类——例如，一个单一的 actor.user 值，无论它出现在身份验证事件还是网络事件中都是相同的。这种一致性让团队能够标准化聚类、富化和分诊剧本：他们不再针对每个检测进行富化，而是每次都基于标准化的用户名值调用富化 API。

"OCSF 让编写检测规则并提供更有意义、更可操作的告警变得容易得多，"Jordan 说，"无论数据来自哪里，分析师都能深入探究。"

影响

除了引人注目的成本与性能数字之外，标准化还解锁了此前不切实际的能力：具有强大实体解析的多域关联、高效的用户行为分析，以及跨应用模式分析。当所有系统都说同一种语言时，团队可以编写简单的查询，一次性发现五台不同路由器——或五个漏洞扫描器——中的异常行为。仪表盘被大幅简化，因为 OCSF 类共享对象；存储也得到优化，因为团队清楚哪些数据该保留、哪些该丢弃。

下一步：与你的数据对话

Schmerber 最兴奋的是这种语义丰富的模式为 AI 解锁了什么。“如果你的智能体没有上下文，你怎么与数据对话？它会胡编乱造，给你错误答案，”他说。由于 OCSF 将定义内置于模式之中，智能体辅助变得准确得多。

路线图包括：将分析师的真实现场使用情况转化为可复用智能体技能的技能训练；能够带着正确上下文运行威胁狩猎的智能体编排；能够回答诸如“在这个模式里我的 DNS C2 流量在哪里？”这类问题的上下文 SQL；以及基于 OCSF 构建的上下文图谱。更长期的雄心是语义层面的：让 OCSF 成为一切数据输出的规范起点——而不是事后从数据中拼合出来的模型。团队还将继续通过研究迁移到 Liquid Clustering 来改进查询性能，以便在企业设备和云等环境中进行数据分区。

详情

• 行业：企业技术（SaaS）
• 地区：全球
• 用例：网络安全、安全数据湖、日志标准化（OCSF）、威胁检测与响应、安全分析、检测工程、AI/智能体自动化
• Databricks 产品：Databricks Data Intelligence Platform、Delta Lake、Databricks SQL、Lakeflow、Unity Catalog、Photon（在 Graviton 集群上）
• 来源：Data + AI Summit 2026 会议，“Normalising Chaos: Atlassian's OCSF Security Lakehouse on Databricks”——Zachary Schmerber（Atlassian 高级安全日志工程师）与 Jordan（Atlassian 检测与响应）