跳到正文
Hacker News· piratebroadcast·· 9 天前AI 评分60

我用 AI 检索 400 年档案,发现一颗被遗忘的陨石和三头犀牛

I Pointed AI at 400 Years of Archives. It Found a Forgotten Meteorites and More

AI 导读

软件工程师 piratebroadcast 用 AI 检索荷兰东印度公司档案等历史文献,发现了一份未被任何陨石目录收录的 1812 年陨石记录、三头未见于文献的爪哇犀牛运输记录,以及三次未被 Smithsonian 全球火山计划收录的喷发。

正文 · AI 翻译

我如何用 AI 调查数百万条历史记录,并发现了一份被遗忘的陨石报告、三头失踪的犀牛和未被记录的火山喷发。

上周,也就是 2026 年 10 月 1 日,历史学家 Benjamin Breen 发表了一篇题为 Using Opus 5.5 to discover a new eyewitness account of the dodo 的文章。他用 AI 检索荷兰东印度公司的数字化记录。这家公司主导了香料贸易,从 1602 年起在亚洲经营着一连串港口,直到因债务缠身而崩溃,于 1799 年解散。

一个名为 GLOBALISE 的项目已将该公司数百万页手写文稿转化为可检索的文本。Breen 用 AI 检索这些转录文本,发现了一本 1615 年的船只日志,其中记载毛里求斯的水手“caught many tortoises, dodos”。这是一份关于已灭绝渡渡鸟的新目击记录,就这样在众目睽睽之下沉睡了四百年。

我读完这篇文章,立刻想:我也能做到。

不是因为我是历史学家,而是因为我是一名软件工程师,恰好非常擅长驾驭 AI 智能体并构建智能体工作流。Breen 的文章是 灵感来源,而我想拓展这一方法:我可以并行搜索许多不同的历史谜团,还可以 串联几个不同的 AI 模型,以剔除必然会出现的误报。

但这件事的吸引力不止于技术挑战。我认为,为人类已知的知识添砖加瓦是件值得尊敬的事。哪怕只是为几个小众领域增加一个数据点,也感觉是一份微小但有价值的贡献。我觉得如果我能做到,那会非常酷。

我启动了自己小巧但性能不俗的家庭 AI 实验室,开始工作。

目录

  1. 计划
  2. 陨石
  3. 犀牛
  4. 被遗忘的火山喷发
  5. 哪些没成功
  6. 报纸奇闻
  7. 目前进展
  8. 资料来源

计划

我先问了一个 AI“深度研究”助手一个问题:哪些开放的历史问题最有可能用 网上已有的数据解决?它给出了十三个候选,按数据的完整性和可获取性、AI 能提供多大 帮助、是否已有人做过,以及最重要的一点——答案能否对照原始页面进行核验——来排序。最后这一点比听起来更重要。AI 模型可能会自信地出错,所以每一项论断都必须落到一份真实文件上:实际手写信件或实际 印刷报纸的扫描件,并附上任何人都能查阅和自行阅读的档案编号。这份清单 包括荷兰东印度公司档案中的动物、1808 年一次从未有人定位过的巨型火山喷发、旧荷兰报纸中 有震感的地震、未被记录的陨石坠落,以及完全消失的船只。

然后我与 Anthropic 的 AI 工具 Claude Code 合作,共同发明了这套研究流程。

首先是阅读材料:荷兰东印度公司档案的 GLOBALISE 转录文本(435 万页, 从 17 世纪到 18 世纪 90 年代)、荷兰国家图书馆的数字化报纸、两个世纪的美国报纸,以及几本船 志作为补充。

如果我自己坐下来只读荷兰东印度公司的那些页面,按每页两分钟、每天八小时、每周五天计算,大约需要70年。这还没算上报纸。而机器只用一个十二小时的夜间运行就处理完了整个公司的档案。

旧文件的麻烦在于,没有人会把同一个词拼写两次都一样。手写体和旧印刷体经过文字识别后满是错误,而17世纪的荷兰语把“rhinoceros”(犀牛)拼成大约十五种不同的写法。简单的关键词搜索会漏掉我要找的大部分内容。那次夜间运行,是我的显卡把每一段文字变成其含义的数学指纹,仅荷兰东印度公司档案就有570万段。这让我能够搜索一段文字是关于什么的,而不仅仅是它碰巧用了哪些词。

即便如此,一次搜索也可能返回数万条命中,多到一个人、甚至一个大型AI模型都无法负担得起去阅读。于是,第一轮阅读交给了一个小巧、快速的“系统一”决策模型,名叫Jev,它只回答范围很窄的问题:这是真实动物吗?是野生的吗?在哪里?它的成本是每百万词几美分。让它阅读59,000处关于大象的提及,花了我大约三美元。

这是这个项目里我最自豪的部分,而且这是我的主意,不是AI的。当我提议用Jev作为过滤机制时,Claude Code的Fable模型还不知道什么是“系统一”类型的决策模型;我得先解释这个想法,然后我们才能围绕它搭建流水线。在这类研究中,瓶颈通常是有人逐条阅读候选段落,判断哪些值得细看。把一个便宜、快速的裁判放在那个位置上,就自动化了初步筛选,让我能专注于最有希望的候选对象和调查方向。我仔细查看的那些页面,已经经过了两轮机器阅读。

只有Jev标记的段落才会进入下一轮。更大的模型Claude Haiku仔细阅读那几十条,翻译它们,并提取出日期和地点。然后Claude Code智能体打开每一页原始手写稿的扫描件,对照原文检查转录。在宣布任何新发现之前,我都会对照专家们自己使用的目录进行核实。

关于这个项目中如何使用AI,简单说明一下:我自始至终积极参与发现过程。我引导调查走向新的问题和来源,决定哪些线索值得追,并意识到自己什么时候是在抓救命稻草、需要继续前进。这些系统能以我无法企及的规模进行搜索和阅读,但决定下一步往哪里走、或者什么时候停下,仍然要靠我的判断。这是AI辅助的研究,不是完全自主的调查。

还有一条规则,而且最重要。在你信任一次什么都没找到的搜索之前,你必须证明它能找到你已知确实存在的东西。所以,在我去寻找任何新东西之前,流水线必须先找到Breen的渡渡鸟、1783年的拉基火山喷发、1815年的坦博拉火山,以及其他十几个已知事件。

这就像把你自己的一块手表埋在前院来测试金属探测器。你知道它就在那里。如果探测器找不到它,那么把院子其余部分空扫一遍也说明不了什么。这些已知的历史事件就是我被埋起来的手表:一种在认真对待流水线找不到任何东西这一结果之前,先检查它能否找到东西的方法。

对照检查通过了。接着,搜索开始浮现出一些页面,这些页面可能自最初写下它们的书记员将其归档以来就再无人读过,是一些人类数百年来可能从未看过的故事。

被历史遗忘的陨石

这个项目第一个真正的发现来自一个我意想不到的地方:一份在巴达维亚(今雅加达)印刷的报纸。巴达维亚位于爪哇岛上,爪哇是现今印度尼西亚境内的大岛,在近两个世纪里一直是荷兰在亚洲的权力中心,而这份报纸是在英国而非荷兰统治该岛的短短几年间(1811—1816年)在那里印刷的。

1812年12月19日,英文的《爪哇政府公报》转载了8月26日《孟买公报》的一封信。一位随英军驻扎在潘达尔普尔(位于今马哈拉施特拉邦)附近的军官写信回家说:

“M上尉拥有一件极大的奇物,即三天前(8月6日)在科库尔冈村附近从雷云中坠落的一块石头。我想它至少重四磅,相对于其体积来说非常重,因为含铁量极高,表面覆有一层薄薄的黑色外壳,仿佛有火药在其周围爆炸过。”

雷声听起来“像滑膛枪的射击声沙沙作响,持续了大约半分钟。”那块石头在空地上砸入地下有一英尺深。而且它是“费了些力气才取出来的,因为帕特尔[村长]认为这块石头乃天造之物,决意要按时向它祈祷。”

Newspaper excerpt headed Bombay Gazette, August 26, 1812, describing Captain M’s stone fallen from a thundercloud, its iron content, and its thin black crust.
M上尉关于陨石的记述,转载自1812年8月26日《孟买公报》,刊于1812年12月19日《爪哇政府公报》第3页。第二栏细节。在Delpher上查看完整报纸扫描件

轰然巨响、一块沉重的富铁石头、一层薄薄的黑色外壳、田野里的一个坑:这是教科书式的陨石坠落。而它不在任何目录中。我查了六份目录,从1819年克拉德尼的开创性列表,到大英博物馆的各目录、1933年的《印度陨石名录》,再到今天的《陨石公报》。我用AI在1812—1817年间的上百种数字化期刊中搜索后续报道,却一无所获。这块石头也不在自然历史博物馆的藏品中。

如果得到证实,我所发现的这次陨石坠落将是马哈拉施特拉邦有记录以来最早的一次,比已知最早的记录还要早26年。

我喜欢这条链条的脆弱。一块石头坠落在德干。一位军官写了一封信。一家孟买报纸将其刊印。一艘船把报纸带到爪哇,而爪哇恰好在五年间属于英国,那里的一位编辑需要填满一个栏目。副本最终进入一家荷兰图书馆,该馆将其数字化并免费发布。两个世纪后,我办公室里的一块GPU重新发现了它。去掉其中任何一环,这颗陨石就会从历史中消失。

从未抵达国王那里的犀牛

1738年,在巴达维亚(今雅加达)城外的森林某处,为荷兰东印度公司工作的人捕获了一头活的爪哇犀牛。

它本是一份礼物。公司每年都派使团带着礼物前往康提国王那里,康提国王是斯里兰卡高地王国的统治者,他的善意维系着肉桂贸易的畅通。这位国王喜爱体型巨大、令人印象深刻的动物。因此,巴达维亚那年写给荷兰的信中,在送给国王的珍奇物品里列有“又一头犀牛,是在此地森林中捕获的,也同样送了过去。”

犀牛跨过印度洋抵达了科伦坡。它却始终没能翻山越岭到达康提。在公司的账目中,De Paardenstal(即“马厩”)这一条目下,1740年注销了一行:

“短少犀牛一头,于1738年死于马厩。”

1739年3月,科伦坡总督略带心虚地写信给巴达维亚,说那头犀牛“死得非常突然”。作为弥补,他在送给国王的礼物中添了一匹上等的波斯坐骑,“以迎合国王屡屡表现出的对如此高大健壮马匹的热切渴望。”

巴达维亚又试了一次。1740年7月5日,Loverendaal号船载着两头犀牛——一雄一雌——从巴达维亚驶往锡兰。出航三天后,军官、水手长和炮手聚集在船上的记账员面前,宣誓作证:尽管为保住这两头犀牛“费尽周折、竭尽全力”,那头雄性还是于当天早上“大约八点钟”死去。十天后,他们又宣誓作了第二份陈述。两头中剩下的那头雌性,‘t wijfje,也死了。

船员的陈述在科伦坡的法庭上向他们宣读,他们“坚持原话,不愿作丝毫更改。”随后总督不得不告知康提。他于1740年9月16日给驻国王宫廷使节的指示几乎令人动容。他为国王找到了几头荷兰猪,“一头公猪和两头母猪,都还是幼畜,肯定还会长大不少,尤其是那头小公猪。”若能弄到狗,他本乐意满足国王对狗的请求。使节们还应告知宫廷官员,“以便他们被问起时能够作答”,即Loverendaal号从巴达维亚送来的两头犀牛均在航行途中死亡,“令我们尤为遗憾。”

看来,国王一直在盼着它们。

三年后,荷兰驻印度南部拉姆纳德宫廷的使节被要求安排“像为康提国王所做的那样,送来一头幼犀牛”,对方的口吻在他们看来颇为无礼。这份从未送达的礼物,成了其他统治者想要的东西。

如今,爪哇犀仅存于爪哇岛最西端的乌戎库隆国家公园。这使得这些信件不仅仅是一个礼物送失败的故事。爪哇犀圈养的历史记录异常稀少,总共只有几十头,而这些文件为其增添了三个个体,附有日期、船名、宣誓证词,以及一头犀牛抵达科伦坡的记述。在我查阅的目录中,没有找到这些运往斯里兰卡的记录。这三头是否都是专业文献中的新发现,是接下来要确定的事。

故事背后还有那片土地。短短两年间,公司就从其首府周边的森林中获得了三头活犀牛,远在该物种残存庇护所之外。1772年,骑马穿过万丹高地的官员们发现了“犀牛踩出的路径,这里犀牛数量众多。我一只也没见到,但闻到了它们的气味,从马身上也能清楚察觉:每当马闻到那股气味,就会惊退、跳跃、腾挪撒欢。”如今读来,这像是瞥见了那片即将消失的栖息地。

A handwritten page from Batavia’s 1739 correspondence, with a reference to a rhinoceros in the lower half of the page.
巴达维亚1739年的通信,包括为康提国王送出的那头犀牛。荷兰国家档案馆,档案号1.04.02,清单2422,扫描件207。查看原始扫描件

被遗忘的火山喷发

荷兰东印度公司的官员们痴迷于写信,而他们就住在全球最活跃的一些火山旁边。于是我向档案提出了一个简单的问题:公司雇员目睹过哪些喷发,而世界标准的火山名录——史密森尼全球火山活动计划——却没有收录?

我的AI系统在语料库中找到了769份喷发报告。AI对是哪座火山的猜测常常出错(它把爪哇的一次火山灰降落归咎于1500公里外的一座火山),所以每个候选记录都必须根据信件自身的地理信息来定位,再与已知的喷发名录交叉比对。最终有三条留存下来:

  • 哈马黑拉岛,甘科诺拉火山,1722年2月3日。特尔纳特总督报告说,海峡对岸的群山上空“云层背后有大火,夹杂着闪电,伴有巨大的轰鸣”。第二天早晨,特尔纳特的街道、屋顶和树木都被火山灰覆盖,“如同盖上了一层白布”,“天色昏暗,一整天都看不见太阳。”那座山位于“甘马诺拉和萨胡之间”:即甘科诺拉火山,其有记录的唯一喷发是1564年和1673年。一位名叫雅各布·恩格尔斯的军士兼制图员乘船前去查看,发现整片整片山坡上的树木,“数十万棵,全被灼热的火山灰烧死了。”
  • 西爪哇,塞雷迈火山,1712年初。数周之久的火山灰和烟雾,“不见明火”,“整个东南部地区覆盖着一层薄薄的淡蓝色火山灰”,庄稼被毁,牛群不肯吃沾满火山灰的草。当地王公们说,以前也发生过同样的事。
  • 中爪哇,斯拉梅特火山,1780年2月。“直葛那座昔日燃烧的山”,燃烧得“如此猛烈,此地无人记得有过。”

作为合理性检验,同样的搜索找到了1711年桑义赫群岛阿武火山的喷发,那次喷发造成138人死亡。史密森尼的记录精确到了日期。而东印度公司的版本来自一封乡村学校教师写的信。

A handwritten Dutch letter dated 7 July 1722 from Ternate, preserved in a bound archive volume.
1722年7月7日的特尔纳特信件,被甘科诺拉火山喷发记述所引用。荷兰国家档案馆,档案号1.04.02,清单号8090,扫描件72。查看原始扫描件

哪些没有成功

说到火山,我选的第一个谜团,1808/09年那场伟大的“未知”喷发,结果一无所获。那是过去500年间最大的喷发之一,却没人知道它发生在哪里。我搜索了美国报纸、荷兰报纸、船舶日志、南美洲的殖民报刊、巴达维亚的第一份报纸(全部633篇文章,全文阅读)以及印度的新闻摘要。什么都没有。同一条流程在我测试过的其他每一次喷发上都有发现,所以我相当确信这些报道就是不存在:那些地方似乎没有人在1809年写过关于奇异天空的文字。我剩下的最佳线索是1235本东印度公司日志中从未被转录的手写批注。那得改天再说了。

报纸上的一些奇闻

在主要搜索进行的同时,我也让它搜索天空中看到的奇异事物。460份报告中大多数都有平常的解释,比如流星、幻日和彗星。有几条太精彩了,不忍略过。(我没有将这些与原始页面核对过,所以请把它们当作故事,而非发现。)

  • 1781年9月23日,荷兰海岸外的“空中骑手”。一位名叫Booy Lourens的船长报告说,在弗里斯兰群岛外约六英里处看到了一个Luchtruiter,即空中的骑手。当天傍晚,有人在近海看到一支英国舰队,一场地震震动了哈德韦克镇,北极光也闪耀起来。我最好的猜测是,这是战时紧张的船员看到的极光。
  • 1806年,北卡罗来纳州烟囱岩的幻影人群。目击者描述道:“闪闪发光的白色人形……从男人到婴儿,各种大小,成群结队地绕着一块大石头移动。”这个故事在全国各地被转载,并作为当地民间传说流传至今。
  • 1812年1月25日,一块石头落在船甲板上。一名船上的军官报告说,石头落在他船周围,其中一块落在甲板上:“超过六盎司,铁色。”我查过的陨石目录里没有它。
  • 1816年,波恩附近一块一百磅重的“陨石”。一家荷兰报纸报道说,石头从云中落在一个花园里,其中一块重100磅。没有这样的坠落记录,所以它要么是一块遗失的陨石,要么是一个荒诞的故事。
  • 1802—03年冬天,瑞典月亮周围的黑环和血红色环。一次壮观的晕圈展示,有非常详细的描述。
  • 1812年,大马士革上空连续三天三夜的光柱,被报道为来自天堂的征兆。
  • 1805年,安大略湖海蛇,“盘绕成螺旋状,约十八英尺宽。”一个经典的报纸怪物。

目前情况

主要发现仍是候选:已对照原始页面和我能访问的目录进行了核查,但尚未得到维护这些目录的专家审查。报纸上的奇闻是另外的、未经核查的线索。我已联系陨石策展人Kees Rookmaaker和火山学家,正在等待他们的回复。这些搜索给了我充分的理由去追查这些线索。专家们可以帮助确定它们是否增添了新内容。如果他们告诉我某些内容已经为人所知,我会更新这篇文章,但我相信这些都是新的重新发现。

公共档案中蕴藏的未开发知识数量惊人。短短几天内,一块GPU和一套量身定制的AI流程就发现了一块被遗忘的陨石、三头失踪的犀牛和几次未记录的火山喷发。为了让这类研究更容易进行,我将自己为这项调查创建的工作流程作为一个小型工具包开源,名为Antiquity,让任何有问题和编码代理的人都能进行类似的历史档案调查。

Breen和我搜索了同一个档案。他去找渡渡鸟,找到了一只渡渡鸟。我去找陨石和遗失的火山喷发,也找到了。那些页面一直就在那里,任何人都可以阅读。档案不会自己交出任何东西;它只回答有人想到要问的问题。


如果你喜欢这篇文章,欢迎在LinkedIn上添加我或在X上关注我。

来源

本文中的引文来自以下原始文件。每个链接都会打开实际页面的扫描件。荷兰东印度公司文件由荷兰国家档案馆保存(档案1.04.02);所搜索的转录文本由GLOBALISE项目制作。报纸来自Delpher,即荷兰国家图书馆的档案库。

陨石

  • 《爪哇政府公报》,1812年12月19日,第3页,转载1812年8月26日的《孟买公报》:Delpher

犀牛

火山喷发

犀牛模型

来源:Hacker News · jessewaites.com