一次转向的案例研究：如何在预算有限下调查被黑与泄露的数据

2022年9月，一个名为Guacamaya的黑客行动组织——其目标是拉丁美洲各地的“采掘业、军事和执法部门”——入侵了墨西哥国防部（SEDENA）的电子邮件服务器。这些黑客行动主义者向Distributed Denial of Secrets（DDoSecrets）——一家为公共利益发布泄露文件的非营利组织——发布了大约六太字节的墨西哥军方内部电子邮件通信及附件。该数据集为了解军方使用间谍软件和监控技术的情况提供了一个前所未有的窗口。

我当时是加州大学伯克利分校人权中心一个小团队的成员，该团队分析了这些数据，用于一项针对墨西哥记者和人权捍卫者被盯梢的调查。军方使用间谍软件针对异见人士，只是其中一个要素——与数字骚扰、滥用法律程序、人身暴力和有罪不罚一道——为该国公民监督机构制造了一个受迫害的环境。

在人权中心，我们的团队调查严重的人权侵犯行为，重点关注通过数字技术实施的国际犯罪。利用间谍软件和监控技术针对墨西哥公民社会已变得日益普遍和系统化，而且其滥用往往与人身暴力相关联。2025年，墨西哥被列为世界上第二致命的记者工作地，仅次于加沙。

全球平民正以惊人的规模受到监控。从美国利用交通摄像头进行大规模监控，到有针对性地部署诸如Pegasus这类高度复杂的零点击间谍软件，政府和执法部门能够以越来越小的阻力进入人们的生活。这项技术绝大多数被用于针对异见。它无处不在、悄无声息、危险重重，而且众所周知极难被发现，更不用说调查了。

我们团队的障碍在于将六太字节的原始、非结构化电子邮件数据转化为证据。在我们的人权研究领域，没有现成的方法来审查如此庞大的数据池。我们不得不自行构建一套方法。

实际上，在现代数据科学中，处理和分析六太字节的数据并不特别困难。然而，人权领域在很大程度上因缺乏承担依赖数据的调查问题所需的技术能力和基础设施而受到阻碍。即便在伯克利这样的研究机构，人权中心也完全自筹资金，尽管有学术隶属关系，却得不到其所在法学院的资金支持。这限制了该中心资助实验性数据探索的能力。 

以下内容将逐步介绍一个资源有限的小型调查团队如何设计一套系统来审问这个庞杂的数据集。这个项目在成功之前失败了很多次。本文解释了我们面临的挑战、我们做出的决定以及我们出错的地方，希望这些经验能帮助其他面临类似问题的调查人员。

设计策略

墨西哥军方的电子邮件以他们自己的话语，展现了国家如何监视异见。我们发现了采购合同、审批文件，以及一个未经司法授权就获取、部署并隐藏间谍软件及相关工具，用以针对记者和人权捍卫者的网络。

要达到这一证据水平，我们需要了解一个国家军方的电子邮件服务器中可能存在哪些相关信息。SEDENA 被入侵的电子邮件服务器被指定用于非机密通信，而军方的真正机密信息则托管在另一个独立系统中。然而，服务器并非用于机密数据，并不意味着所有人都遵守了这一政策。我们的调查利用了这些人为的判断失误，从而有所发现，例如一名军官将幻灯片发送到自己在这个安全性较低的服务器上的邮箱，以便在会议前打印出来。 

我们需要能够搜索整个数据集，同时也需要一种方法来发现我们尚不知道存在的新人物、电子邮件或其他数据。我们知道要搜索诸如“inteligencia”或“Pegasus”之类的关键词，但我们需要那些可能揭示合同或隐藏间谍软件供应商的未知术语，而不仅仅是显而易见的那些。涉及哪些军官？他们属于哪些网络？

为了解决这些未知问题，我们的团队集思广益，想出了各种超越简单关键词匹配的电子邮件服务器搜索方法。我们决定通过图分析的视角进行搜索，它应用算法来搜索以实体网络形式相互关联的数据。图分析也称为网络分析，是发现关键词搜索之外的新数据集群的绝佳方法。

这些是数据科学中相当简单的概念。图数据库，也称为数学图，可以存储数据。顶点是图中的参与者（例如电子邮件地址），边是顶点之间的连接（例如电子邮件），它们共同构成一个图。换句话说，图数据库按关系存储信息，而不是像传统数据库那样采用严格定义的表结构。

在这种情况下，我们可以建立一个由相关军事人员组成的网络，以他们各自的电子邮件地址为代表。通过构建网络中人员的集群及其在军事层级中的位置，我们寻找那些最有可能讨论或参与获取、批准和部署间谍软件及其他监视技术的人。

然而，如果不测试各种选项，我们就无法确定哪种算法能找出最相关的人（通过电子邮件地址）。在所有六太字节的被黑数据上测试这些算法是不可行的；我们需要一个更易于管理的规模。

幸运的是，在我们为这项调查进行初步范围界定时，我们之前审查过一组较小的相关泄露电子邮件，称为 Hacking Team 档案。该数据集源自 2015 年一家意大利监视公司遭到的入侵，这家公司恰好名为 Hacking Team，其中包含一个发布在WikiLeaks上的企业电子邮件档案。

这个数据集很好地测试了多种算法，原因有两个：该档案只有400GB，而且作为一家公司的电子邮件，它在结构上类似于军队这样的层级制机构。最关键的是，Hacking Team的电子邮件——至少是那些与Hacking Team在墨西哥业务相关的邮件——我们的团队已经审查过了。这意味着我们可以将算法浮现出的任何内容与经过事实核查的答案进行交叉比对。

数据既包含电子邮件地址，也包含电子邮件内容。我们的测试需要在一个精简的搜索引擎中读取内容，并通过地址理解更广泛的电子邮件网络。

为了读取电子邮件内容，我们创建了一个可搜索的Hacking Team数据库，类似于通过WikiLeaks提供的那个。我们使用了MySQL，一种传统的开源关系数据库管理系统，它使电子邮件内容变得可读。 

为了绘制电子邮件网络，我们需要展示电子邮件中反映的关系，但传统数据库过于僵化。我们的团队选择了用开源平台Neo4j构建的图数据库。这可以表示一个社交网络，其中数据点之间的连接代表社会关系，例如员工给上级发邮件，或销售助理给潜在客户发邮件。

电子邮件网络 

除了我们在电子邮件中发现的细节外，我们还通过追踪电子邮件发件人网络，不仅绘制了军队的传统指挥链，还绘制了其秘密情报机构。我们通过一系列测试选择最高效的算法来做到这一点。

使用Neo4j图数据库，我们选择了三种算法来探索数据集。对于Hacking Team的电子邮件，我们想更多地了解该组织在2015年被黑客攻击之前出售给政府客户的间谍软件技术。我们的数据点是电子邮件地址、注册到账户的姓名以及发送的每封电子邮件。在下面的定义中，每个数据点被称为一个“节点”：

• 特征中心性（声望排名）：一种对网络中节点“影响力”进行排名的方法。它将连接到其他高分节点的节点评分视为比连接到低分节点更有价值。该算法与Google用于对搜索引擎页面结果进行排名的方法密切相关。 
• 标签传播算法（LPA）：一种社区检测方法，它无需预先定义边界即可找到密集连接的节点簇。这种方法找到簇的速度相对较快，但有时不准确。
  
• Louvain方法：一种类似于LPA但更稳定、更复杂的社区检测方法。它通过将每个节点移入相邻组并根据其在组内的连接密度进行评估来找到数据簇。它保留彼此之间连接最密集的簇。 

谁在谈论Galileo？

特征中心性案例研究：从之前的研究中，我们团队知道Hacking Team出售了一款名为Galileo的远程控制系统（RCS）间谍软件。当我们搜索关键词“Galileo”并应用特征中心性算法时，它按影响力对包含“Galileo”的节点（即电子邮件发件人）结果进行了排名。该算法通过为每个电子邮件发件人分配相对分数来计算影响力，其中与高分发件人的连接（发送的电子邮件）比与低分发件人的同等连接更有价值。

热门搜索结果：

1. 提及Galileo的电子邮件中排名最高的节点是Marco Bettini的电子邮件地址，他是Hacking Team的销售代表。他发送了最多关于Galileo的电子邮件，这很合理，无论是在与产品团队的内部讨论中，还是在向潜在客户的外部推介中。
   

1. 第二个电子邮件地址是Phillipe Vinci，业务发展副总裁。作为销售主管，Vinci是Bettini的老板。这里的结果很微妙。最具“影响力”的不是销售部门主管Vinci，而是他下属的员工Bettini，他发送了最多的Galileo销售推介。
   

这些结果与我们对Hacking Team员工层级结构的了解以及我们对谁会讨论Galileo的理解一致。凭借这一成功，我们用类似的逻辑测试了其他算法——算法是否会提供与人工审查研究相似的答案？

应用这一逻辑，我们选择了那些展示出有用网络分析的算法。现在我们准备开始构建搜索系统。

首次数据摄取尝试

在试验了测试数据后，我们准备开始我们的真正目标：检查墨西哥军方的电子邮件。我们团队成功从DDoSecrets请求访问了Guacamaya档案。摄取和处理这六TB的被黑数据——总计数百万个文件——是一项危险而艰巨的任务。

电子邮件数据以标准互联网消息（MIME）格式组织。数据摄取分为两部分。首先，我们使用标准化的提取、转换、加载（ETL）过程来解析并将电子邮件文件加载到两个互补的数据库中：MySQL和Neo4j。其次，我们将电子邮件附件与其父电子邮件分离，以进行文档和媒体处理。Docker，一个用于开发和运行应用程序的开放平台，打包了这两个摄取管道，使其在多台机器上顺利运行，确保了可移植性和可重复性。 

我们在一个我们团队亲切地称为COLDSNAP的脆弱系统上进行了这项工作。我们的系统包括一台Framework电脑、一组外部存储设备，以及由我们技术团队专家开发的摄取软件。这是一个试图处理大量数据的骨架系统。理论上，它会工作。

但摄取依赖于一个完美运行的精密系统。

我们知道，一次故障就可能让我们遭遇严重挫折，于是采取了一些实用而简单的预防措施。当电脑开始发热并发出嗡嗡声时，我们把它放在一卷美纹胶带上，并用风扇对着它吹以保持空气流通。我们把电线移开，远离容易绊倒的通道。在听说大楼因自身老旧线路而多次断电后，我们在办公室微波炉和咖啡机上方贴了一张告示，恳求同事不要同时使用它们，以免丢失关键数据。

到了某个时候，我们变得有些迷信。每天离开办公室时，如果不向COLDSNAP道别、祝它晚上安全愉快，就总觉得无法离开。我们不会在同一个房间里说它的坏话。登录后，我们甚至不敢把最初的测试密码改成另一个，生怕出意外。

这一切都没能阻止第一次灾难的发生。

一块外置硬盘烧坏了，整个项目戛然而止。

说来可笑，我们做了那么多规划，结果一块简单的硬盘故障竟成了整个项目的关键。我们本可以再买一块，但预算紧张，买不起更强大的硬盘，也很难为替换一个本就脆弱、缺乏数据完整性的系统找到理由。我们无法保证同样或类似的问题不会再次出现。我们一起头脑风暴了各种替代方案，包括使用亚马逊云科技这样的云系统或本地托管的基础设施，但两者都超出了我们的价格承受范围。

我们的时间也不多了。低效的硬件拖慢了处理速度，随着截止日期临近，我们真正用于调查的时间窗口越来越小。为了让调查继续下去，我们不得不承认，不能全靠COLDSNAP来完成所有工作。此外，由于我们这套系统缓慢而脆弱，我们还不得不放弃查看全部六TB数据的希望。 

一旦明确在现有条件下无法摄取和审查电子邮件附件，我们就寻求外部帮助。我们需要一些能良好运行的基本功能，包括在用户友好、可共享的平台上查看任何文件类型附件的能力——PDF、视频、图像、电子表格或其他任何格式。对于尚不可机器读取的文本，例如照片或文档扫描件，我们需要光学字符识别（OCR）来将文本数字化。

我们找到了合适的工具DEVSEC，这家初创公司满足了我们的需求，并接受我们拥有的一种货币作为支付方式：用户反馈。DEVSEC提供了Weaver，这是一个用于数据摄取和丰富化的调查平台，能够处理我们所有类型的附件，执行OCR，并大批量翻译文本，同时支持流畅的搜索以及具有零数据保留策略的前沿人工智能（AI）模型。现在，我们让COLDSNAP分离附件，用Weaver来存储和处理附件。 

军队里有什么？

由于我们无法再审查全部数据，我们需要一种策略，在网络和附件分析中识别线索。我们利用墨西哥军事行动、制度结构和行为的已知因素，转向未知线索。就这样，我们将调查扩展到包括Pegasus之外的侵入性工具，以及在现有结构之外共同行动的人员。

利用DDoSecrets公开的一批文件，我们重建了SEDENA的组织结构，以识别相关的电子邮件账户、社群和文件。

例如，我们会搜索一名已知情报官员的姓名，以找到他通过电子邮件发送的情报产品，以及他会与之通信的其他军事人员网络。以一名高级军官为例：Conrado Bruno Pérez Esparza将军（Bruno）。2020年，他是SEDENA国防联合参谋部（EMCDN）的情报副主管。这意味着当军事情报中心（CMI）据称使用Pegasus间谍软件时，他的级别高于该中心。

考虑到他的角色，Bruno会如何出现在数据中？他会属于哪些社群？我们预期他会在哪些主题上于特征中心性算法中排名靠前？

电子邮件结构

与任何机构一样，SEDENA在创建电子邮件地址时遵循了命名惯例。我们注意到电子邮件地址与姓名的配对，通常带有缩写的军衔。因此，我们发现了一种电子邮件命名模式，使我们能够使用已知的电子邮件地址或基于个人姓名推测的地址来定位数据集。

其中一种电子邮件惯例基于个人真实姓名的首字母。这种模式依赖于使用名字、中间名、完整父姓的首字母，以及母姓的首字母。例如：

文件结构

签名

电子邮件所附文件包含一种模式，有助于将人员与SEDENA内特定的情报产品联系起来。几乎所有基于文本的文件，例如情报报告和演示幻灯片，都在文件最后一页的左下角印有一串字母。SEDENA自己的标准操作程序证实了这一内部文档做法。我们审查并确认，这些首字母缩略签名按军衔从高到低指代负责准备和批准文件的人员。我们通过映射哪些首字母缩略词属于哪些军官，推断出批准和制作这些附件的具体人员。

以下是一份文件的示例，这是一封来自监视办公室上尉Julio Cesar Diaz Martinez的通信信函。最底部的三串签名是“JCDM-gsb-hjgs”，其中JCDM是全名Julio Cesar Diaz Martinez的首字母。另外两个首字母是小写，意味着它是由士兵而非军官准备的。 

文件路径

除了文件本身之外，作为电子邮件附件发送的文件的组织方式也存在一种模式。大多数基于文本的文件，例如PDF和Word文档，都在最后一页的底部列有文件路径，通常位于签名之后。这些文件路径是唯一的一串字符，用于标识文件在有序文件系统中的位置，这意味着文件路径提供了有关其他文件位置的线索。 

大多数文件路径以字母开头，表示驱动器名称。尽管因操作系统而异，但驱动器命名有一个通用的惯例。SEDENA 服务器有一个名为“E:SECURE”的驱动器，我们预期会在那里找到敏感信息。还有一个“C”驱动器，按不同部门组织，例如网络空间作战中心，缩写为 COC：

• C:USERS\
  • C:\USERS\ADIESTRAMIENTO\
  • C:\Users\COC-23\
  • C:\Users\ticadmin\

下面是一个文件路径示例，它揭示了 2022 年每日情报汇总的常规简报更新的组织结构。这是一张 2022 年 4 月 1 日至 4 月 2 日情报更新的简报卡：

W:\acopio\2022\1.-MESA DE PANORAMA\TARJETAS\4.- ABRIL\01\RESUMEN S-2\10.-RESUMEN DE NOVEDADES DE LAS 1400, 01 ABR. A LAS 0500, 02 ABR. 2022.docx

SEDENA 在电子邮件地址、文档签名和文件路径中的模式，只是帮助我们厘清搜索策略并使该数据集更易管理的众多配置中的一部分。

简化的工作流程

通过重新设计的方法，我们达到了一个阶段，可以在 COLDSNAP 上进行有针对性的搜索——尽管笨拙且缓慢——接着在 Weaver 上处理文档，然后深入调查。但这一工作流程仍然效率太低。团队很难访问 MySQL 数据库中的数据，因为不知道如何用用于管理和检索关系数据库数据的标准化语言编写查询。而且没有内部开发人员或资金来为数据库创建用户友好的前端界面。

这个项目以及我们处理这一大型数据集的尝试贯穿 2025 年和 2026 年，与此同时，公开可用 AI 模型的激增开始改变数据科学解决方案。AI 编码代理，尤其是 Anthropic 的 Claude Code，使普通人能够以此前只有软件工程师才能达到的水平编写代码和开发软件。

我们团队的一名成员利用这一能力，使用 Claude Code 构建了一个名为 Forensic Explorer 的内部工具。这在已摄取的数据之上实现了一个搜索引擎和前端，解决了我们迟缓的工作流程。Forensic Explorer 被设计为在本地隔离运行，包含在 Docker 的虚拟沙盒环境中，以便敏感数据保持隔离。

最关键的是，该工具并非使用泄露数据本身设计的，因此没有将 Guacamaya 黑客事件暴露给底层 AI 模型。相反，我们使用了为测试该工具而生成的合成样本数据。开发过程是迭代的；团队的反馈修复了错误并塑造了功能。最终，电子邮件数据被摄取到 Forensic Explorer 中，调查终于进入了流畅状态。 

为了整理我们的发现，我们使用了一款信息管理工具 Obsidian，它帮助在我们发现的实体之间建立联系。对于我们的调查，Obsidian 的价值在于按文件之间的相互关系来组织文件，而不是传统的单维文件系统。Obsidian 成为了一个知识库，其中文件之间的关系反映了个人、政府机构、军事机构、墨西哥私营公司以及与我们调查相关的其他实体之间的关系。

经验教训 

实际上，调查这个数据集是我们艰苦战斗的回报。任何优化或工具都无法替代手动拼凑这些碎片的工作。尽管我们付出了努力，数据中并未出现确凿的证据。我们费力地绘制了相关网络和众多情报文件，这些文件描绘了墨西哥情报机构的快照——像触手一样，阴暗，并运用强大的技术运作。

通过这个艰难的过程，我们了解到理论与实践之间的巨大差距。正如这里描述的磨难所示，有许多步骤在理论上应该可行。在长时间讨论哪种数据分析效果最佳后，实际运行数据摄取步骤却一点也不顺利。即使度过了最初痛苦而耗时的难关，更多限制又出现了。一块烧坏的硬盘并不是特别可怕的怪物，但它是我们过程中的转折点。

对于任何人权研究团体或调查团队来说，这里的启示是尽可能将理论付诸实践；尝试处理复杂的数据问题，即使团队在边做边学，就像我们一样。 

我们的工作旨在揭露数字技术在严重侵犯人权行为中的使用。当恶意行为者利用零点击间谍软件或大规模监控等复杂工具时，我们需要人权研究跟上这些技术驱动犯罪的步伐和创造力。这项调查展示了我们在基础设施匮乏的情况下取得的成就；想象一下，如果有正确的投资，一切皆有可能。