Project Timestamper 为 Common Crawl 3390 亿网页快照做比特币时间戳

为庞大的网络记录添加时间戳

2026年10月7日

我们来自 Project Timestamper 的最新公告涉及一个规模远超我们以往处理过的任何数字。这个数字是 3390 亿，即 3.39×10¹¹。

它恰好是 Common Crawl 项目在过去 18 年中捕获的网页快照数量。这次史诗般的网络抓取是世界上最重要的抓取之一，其规模或许仅次于 Internet Archive 的 Wayback Machine 所执行的持续抓取。Common Crawl 的数千亿份快照精确保存了网页多年来的原貌，快照数据总量超过 10 PB。人们可以将其视为对过去二十年人类集体思想重要部分的记录。

这样的记录对我们人类来说显然弥足珍贵。如果它出了什么事，那将是一大憾事！随着 AI 生成逼真数据和入侵数据库的能力不断增强，我们如何分辨什么是原始的，什么是修改、模仿、虚构？

因此，我们很高兴地宣布，我们已经为整个数据集进行了加密时间戳认证！每一次网页捕获都通过哈希链提交到了比特币区块链上，因此有证据表明，每一份捕获的页面快照（无论何时捕获）在 2026-09-26 时都逐字节存在于 Common Crawl 集合中。该日期之后的任何改动都将可被检测到。

通常，为整个由单个快照组成的集合添加时间戳会慢得令人望而却步：要处理的项目太多，无法在合理时间内完成。幸运的是，Common Crawl 已经对所有网页快照进行了哈希处理，并将这些哈希收集到最多包含 3000 条索引条目的区块中。因此，我们得以在短短几周内对约 1.34 亿个区块逐一进行哈希，并使用 OpenTimestamps 服务在单一批次中为这些哈希添加时间戳。

我们生成的哈希和时间戳证明的排列方式使得对这 3390 亿份快照中的任何一份进行加密验证只需几秒钟和几百 KB 的下载数据。我们的验证工具让你只需一条命令即可检查某份快照是否存在：

> npx tsx verify.ts --collection common_crawl_blocks --capture 0 https://en.wikipedia.org

并快速返回表示成功或失败的响应：

Success! Capture 0 (https://en.wikipedia.org/ at 20260915155254) is in CC-MAIN-2026-39, its CDX block is attested by Bitcoin block 968666 (000000000000000000010fb95a4fa547171edc525077191cbb74dc54acfaf0aa) as of 2026-09-26T09:35:20Z, and the WARC payload SHA-1 matches 3I42H3S6NNFQ2MSVX7XZKYAYSCX5QBYJ

我们感谢 Common Crawl 基金会在构建和维护网络捕获集合方面所做的工作，以及他们提供开放 API 和开放数据。我们希望随着 Common Crawl 在未来数月和数年继续进行，能不断为新数据添加时间戳。