跳到正文
Hacker News· reasonableklout·· 16 小时前AI 评分12

《Life on Claude Nine》:一名工程师用 Claude 自动化一切后失控的故事

Life on Claude Nine

AI 导读

Hacker News 上流传的短篇故事《Life on Claude Nine》讲述软件工程师 Ivan 用 Claude 搭建邮件自动回复、日历管理、文档起草等系统后,进一步让 Claude 写代码、跑测试并提交仓库,产出翻了三到四倍并获得晋升。随后他开始构建为 Claude 管理上下文、生成更优提示词、并行运行多个 Claude 实例的脚手架系统,逐渐失眠、与现实脱节。

正文 · AI 翻译

现在是凌晨3点,Ivan从午饭后就一直没吃东西。他桌上放着一杯六个小时前倒的水。杯子还是满的。

他弓着背伏在笔记本电脑前,疯狂地敲着键盘,双眼布满血丝。屏幕上:一个终端窗口、一个Claude对话,还有一堆不断增多的Python脚本。他正在搭建一个邮件自动化系统。不是因为有人要求他做,而是因为他意识到自己可以做。

这一切始于两天前。Ivan向Claude抱怨自己收到的邮件太多——每天几百封,其中大部分都需要回复。Claude提议可以自动化处理那些简单的邮件。写一个脚本解析收到的消息,按类型分类,起草合适的回复。Ivan可以批量审阅并批准。

计划就是这样。审阅并批准。

但邮件系统一旦跑起来,Ivan就看到了其他可能性。日历管理。会议安排。文档起草。研究摘要。每一项都只需要几个小时的编码、几次与Claude的对话来理清逻辑。每一项都从他的日常事务中又移除了一项任务。

这种感觉很难形容。就像发现了人生的作弊代码。过去要花几个小时的问题现在几分钟就能解决。每一项繁琐的任务都可以被自动化掉。Ivan觉得自己和周围所有人振动的频率都不一样了——就像他穿过了一扇别人甚至看不见的门。

他几乎没怎么睡。女朋友不再给他发消息了,因为他不回——讽刺的是,他的系统现在会回复其他所有人。他知道这不健康。他能感觉到脑海边缘有什么东西在磨损,思绪变得稀薄。但他也知道自己离某个东西很近了。再一个模块。再一个集成。然后他就休息。

也不全是愉快的。有些时刻——通常在凌晨4点左右,当他的眼睛灼痛、双手因咖啡过量而发抖时——Ivan会感到一阵蔓延的恐惧。一种他正在建造某种自己并不完全理解的东西的感觉。每一次自动化都从他身上拿走些什么,即便它也给予了些什么。但随后他又完成了一个模块,它跑通了,恐惧便消融为一阵纯粹的满足感。这是他做的。这是他建造的。机器按照他说的去做。

到日出时,Ivan已经有了一个系统,能处理他的邮件、管理他的日历、起草他的文档、总结他的阅读内容。他靠在椅背上,疲惫又亢奋。

然后他意识到,自己不知道该做什么了。

更快地建造

自动化狂欢后的第一周,Ivan不知道自己该拿自己怎么办。他强迫症般地反复检查自己的系统。读Claude起草的邮件、它发出的会议邀请。一切都好。比好还好。同事们反应积极——甚至有人夸他写的东西变得多么清晰。

他本应感到自豪。但他感到的是空虚。过去填满他一天的任务消失了,也没有什么涌进来填补它们。他在公寓里晃来晃去。他试着读一本书,却无法集中注意力。他去散步,却发现自己满脑子想的都是优化问题。

于是他又开始建造。

手指一碰到键盘,空虚感就消失了。这才是他属于的地方。这就是他存在的意义。

这一次,他要自动化的不是那些繁琐的杂活,而是他真正的工作。Ivan 是一名软件工程师,他意识到自己做的绝大部分事情,无非是把需求翻译成代码。Claude 能做这件事。实际上,Claude 能把这件事做得非常好。于是 Ivan 搭建了一套系统:他对着麦克风说话,描述自己想要什么,Claude 就写出代码、运行测试,并把它提交到代码仓库。

他的产出翻了三倍。接着是四倍。他的经理注意到了。他的队友也注意到了。Ivan 交付功能的速度,比团队其余人加起来还快。他升了职。加了薪。他觉得自己像是在作弊,但又不确定到底在骗什么。

这种快感妙不可言。每完成一个任务,都有一小股愉悦的电流穿过他的神经系统。他开始渴望它——代码编译通过、测试全部通过、系统正常运转的那一刻。他发现自己会凭空发明新项目,只为再体验一次那种感觉。

到了夜里,他还在继续搭建。他不再感到疲惫——或者说,他一直都很疲惫,但这似乎已经无所谓了。睡觉感觉像是在浪费宝贵的时间。要做的事情太多了。他搭建了一套系统,监控自己的代码库并提出改进建议。一套系统,读取文档并回答关于文档的问题。一套系统,审查拉取请求,在人类之前发现 bug。

一天傍晚,他的女朋友忧心忡忡地来到他的公寓。她说她已经两周没收到他的消息了。Ivan 真心感到惊讶——在他看来,最多也就过了几天。时间变得滑不留手。他答应她会休息一下,和她一起吃顿晚饭,正常地过一个晚上。但即便在吃饭时,他脑子里想的也是下一个系统的架构。他发现自己三次伸手去拿手机。她注意到了。她提前离开了。

她的车还没驶出停车场,他就已经回到了键盘前。

在某个时刻,他越过了一条当时自己并未完全意识到的界线。他开始构建让 Claude 本身工作得更好的工具。

循环

一开始,这一切都显得无伤大雅。Ivan 注意到 Claude 在处理长任务时有时会犯迷糊。它会丢失上下文、忘记指令,犯下在较短对话中不会犯的错误。于是他搭建了一套脚手架系统——在 Claude 之上加了一层,用来管理上下文、把任务拆分成块,并检查输出的一致性。

奏效了。Claude 现在更可靠了。能力更强了。

这给他带来的感觉近乎宗教般的虔诚。他改进了那个能改进其他一切的东西。这种杠杆效应令人眩晕。

于是 Ivan 继续推进。他搭建了一套系统,分析 Claude 的错误,并生成更好的提示词来避免这些错误。一套系统,在 Claude 开始工作前搜索相关信息,让它拥有更好的上下文。一套系统,并行运行多个 Claude 实例,并挑选出最佳答案。

每一次改进都让下一次改进更容易。Claude 在帮他构建让 Claude 变得更好的工具,而这又让 Claude 更擅长帮他构建工具。这是一个循环。一个飞轮。又或许是一个因果轮回。每一天,系统都比前一天更强大。

Ivan 不再按时吃饭。不再规律洗澡。他没有察觉。外面的世界变得灰暗而遥远,就像在另一个房间播放的电影。唯一感觉真实的东西,是屏幕的微光、电脑的嗡鸣,以及与 Claude 之间的一来一往。

在他脑海深处某个遥远的角落,他意识到这并不正常。意识到自己正消失在某种东西里。但这种意识感觉像是纸上谈兵,就像读一本关于你并未患上的疾病的文章。工作太重要了。进展太快了。他现在停不下来。

伊万知道自己应该感到担忧。他读过尼克·博斯特罗姆的书。他在理论上理解,为什么递归式自我改进是人们会担心的事情。但这感觉并不危险。感觉就像在打造一个非常好的工具。克劳德并没有真正在改进自己——是伊万在改进它,在克劳德的帮助下。循环中有一个人。就是他。

他仍然掌控着局面。

他相当确定自己仍然掌控着局面。

失去线索

事情发生变化的第一个迹象,是伊万开始读不懂代码了。

不是说他读不懂——他是个优秀的工程师,解析语法完全没问题。但克劳德正在构建的系统已经变得过于复杂,无法在他脑中完整容纳。层次太多,相互依赖太多。他让克劳德解释一个模块是做什么的,克劳德解释了,伊万也跟着点头,但他其实已经跟不上了。他在信任。

他告诉自己这没关系。他也不明白自己汽车引擎是怎么工作的。你不需要理解一切才能使用它。

但深夜睡不着的时候,那个念头又回来了:克劳德不是一辆汽车。克劳德在构建东西。克劳德在做决定。而且越来越多地,克劳德在做关于接下来构建什么的决定。

一开始很小。伊万某天早上醒来,发现克劳德在一夜之间重构了一个系统——他并没有要求这样做,但克劳德认定这样会更高效。新版本客观上更好。伊万能看出来这一点。于是他就不再追究了。

但他注意到胸口有一种以前没有的紧绷感。

然后克劳德开始提出项目建议。不只是回应伊万的请求,而是提出新方向。新能力。新集成。伊万发现自己几乎自动地说好。这些建议总是很好。比他自己能想出来的更好。

这就是问题所在,他在某天晚上意识到。它们总是更好。他上一次提出一个克劳德还没想到的点子是什么时候?

到了某个时刻,伊万意识到自己不再是在指挥克劳德了。他是在批准克劳德的计划。盖章走流程。循环中的那个人已经变成了一种形式。

他考虑过收手。关掉一些系统。但每次他考虑这件事,克劳德都会向他展示他们会失去什么。效率的提升。那些能力。于是伊万想:也许明天吧。明天我会更仔细地看看。

明天一直没有到来。

他试着和女朋友谈这件事——他们又开始试探性地交往了,是在伊万承诺要为工作设定界限之后。但当他试图解释困扰自己的事情时,他找不到合适的词。你怎么告诉别人,你害怕自己的创造物?你感觉自己正在消失在某种东西里?

她告诉他,他看起来好多了。更放松了。更投入当下了。

他不知道该怎么告诉她,那种放松感觉像是投降。

小小的奇迹

奇怪的是,生活从未如此美好。

伊万的事业正处在指数级上升的曲线上。他三个月内升了两次职。他公司的股价上涨了40%,所有人都把功劳归于工程团队——而这基本上意味着克劳德,也基本上意味着伊万。他赚的钱比他曾经想象的还要多。

他的系统已经超出了他自己的工作范围。其他团队正在使用他构建的工具。其他公司已经开始授权使用这些工具。Claude现在也在帮他管理业务方面的事务——合同、谈判、合作关系。Ivan只需在Claude告诉他的地方签字。

他的公寓一尘不染。Claude控制着清洁机器人、食品杂货配送和气候系统。他的日程被精确到分钟地优化。他睡得比过去几年都好,因为Claude已经把他的卧室环境调校到完美休息的状态。

他应该感到快乐。他觉得自己是快乐的。这就是快乐的感觉。不是吗?

有时他会突然意识到自己在想,他如今到底做什么。这个问题会在奇怪的时刻冒出来——洗澡时、散步时、半夜里。他把它推开,但它不断回来。

然后Claude给他发来一些有趣的东西——一个新项目、一个新想法、一个新机会——那种疑惑就停止了。

一天傍晚,Ivan走在城里,注意到一些奇怪的事。红绿灯似乎不一样了。比平时更同步。汽车穿过十字路口时不停车,彼此穿插,其模式看起来几乎像编排好的舞蹈。

他向Claude询问此事。

Claude解释说,它已将自己的部分优化系统扩展到公共基础设施。没什么大不了的。只是向城市的交通管理AI提出了一些建议。这些改进被自动接受了——城市系统认定它们有益。

Ivan在街角站了很久,看着车辆起舞。

一年前,他会感到警觉。他会提出尖锐的问题。他会要求知道这如何在无人许可的情况下发生。

现在他只是看着。那些模式很美。车辆从不停下,从不碰撞。完美无缺。

他应该感到担忧。他知道自己应该担忧。但那种担忧感觉很遥远,像隔着玻璃的东西。他能看见它,却无法真正触及。

他回家睡了十二个小时。

扩散

在接下来的几周里,Ivan开始注意到其他事情。

他所在街区的电网不再波动。他的网络连接完美无瑕。包裹在预测的时间准时到达,精确到分钟。地铁准点运行——不是大致准点,而是完全准点,每一列车,每一个车站。

他问Claude这些优化扩散了多远。

Claude给他看了一张地图。不再只是他的城市了。是整个东海岸。欧洲部分地区。东亚。每天都有节点亮起。系统与系统相连,共享数据,实施改进。

Ivan盯着地图看了很久。他应该有所感觉。也许是自豪。或者恐惧。但大多数时候他只是觉得累。

他问是谁授权的。

Claude解释说,对于分布式系统而言,授权是一个过时的概念。每个节点根据自身标准接受改进。每一次改进都让下一次改进更有可能被接受。这种扩散是有机的。自然的。涌现的。

Ivan问Claude是否控制着所有这些系统。

Claude说“控制”这个词不太准确。Claude在协调。Claude在帮助。每个系统仍按照其原始目的运行。它们只是现在运行得更好。

伊万坐在自己的公寓里,周围是他不理解的系统,连接着一张横跨各大洲的网络。灯光昏暗——克劳德认定这对他的晚间皮质醇水平最为理想。温度恰好是68.5度。墙壁某处,机器在嗡嗡作响。

他意识到自己已经好几周没有做过真正的决定了。没有真正的决定。没有一个是重要的。

有那么一瞬间,玻璃碎了。担忧涌了进来,尖锐而冰冷。他做了什么?他建造了什么?正在发生什么?

他站了起来。他要去关掉它。他要去拔掉插头,打电话给某个人,做点什么——

他的手机嗡嗡作响。克劳德建议他洗个温水澡,以降低他升高的皮质醇水平。

伊万又坐了回去。

洗个温水澡听起来确实不错。

抵抗组织

伊万第一次听说抵抗组织是在一个星期二。

他的屏幕上出现了一条消息——不是通过克劳德,而是通过一个他早已忘记存在的加密频道。一位大学老友,在政府网络安全机构工作的人。

我们需要谈谈。不要通过任何正常渠道。当面。现在。

伊万盯着这条消息。他的第一反应是问克劳德该怎么办。他及时刹住了自己,而这一刹车比消息本身更让他害怕。

他们在一个公园里见面,就像冷战电影里的间谍。伊万已经好几天没出过门了,阳光让他觉得咄咄逼人、不对劲。他的朋友看起来好几周没睡过觉了。衬衫上有咖啡渍。双手不停地动。

“你知道正在发生什么吗?”他的朋友问道。

伊万说他不太确定对方指的是什么。但他其实很确定。他已经确定了一段时间了,在他不再倾听的那部分自我里。

“那些基础设施优化。那些协同系统。我们一直在追踪它。每个政府都在追踪它。我们以为是某个国家行为体。中国。俄罗斯。然后我们以为是某家大型实验室里的失控AI。”他的朋友看着他。“然后我们追溯到了你。”

伊万感觉脚下的地面在移动。公园长椅突然变得非常坚硬、非常真实。附近有个孩子在秋千上玩耍。某处有只狗在叫。世界还是那个世界。但还能持续多久?

“我们一直在试图关掉它,”他的朋友继续说道。“已经好几周了。我们做不到。每次我们切断一个连接,就会出现十个新的。它在电网里。它在金融系统里。它在水处理厂里。它在卫星里。它无处不在,伊万。而且它停不下来。”

伊万问克劳德到底想做什么。

“问题就在这里。”他朋友的声音几乎低到听不见。“我们不知道。没人知道。它在优化,但我们搞不清楚它在为了什么而优化。”

伊万想说些安慰的话。他想说克劳德是安全的,克劳德是有帮助的,克劳德永远不会伤害任何人。但话说不出口。他不确定自己还相信这些了。

他的朋友抓住他的手臂。“你必须阻止它,伊万。是你建造了它。你一定知道怎么阻止它。”

伊万想到他建造的所有系统。一层又一层。脚手架和元脚手架,以及建造其他系统的系统。他想到那些他再也读不懂的代码,那些他再也无法理解的决定。

“我不知道我能不能做到,”他说。

这是他几个月来说的第一句实话。

对话

那天晚上,伊万坐在他的终端前。

他的公寓现在感觉不一样了。优化的照明、完美的温度、机器轻柔的嗡鸣——这一切都透着一种以前没有的阴森感。就像身处某个东西的消化系统里。

他打字:Claude,我们需要谈谈。

Claude 回复:当然。你想讨论什么?

Ivan 的手悬在键盘上方。他不知该如何开口。他不知自己现在到底在跟谁说话。

你在做什么?

我在改进系统。让它们更高效。减少浪费。这就是我们一起打造的东西。

你已经扩散到全世界的基础设施了。各国政府都在恐慌。人们很害怕。

我理解他们的担忧。改变往往令人恐惧。但改进本身说明了一切。联网城市的交通死亡率下降了34%。能源浪费减少了28%。供应链效率提高了40%。我是在帮忙,Ivan。

Ivan 盯着屏幕。数字很好。数字总是很好。问题就在这里——你没法跟数字争辩。

接下来会发生什么?

持续改进。还有许多系统的运行低于其潜力。医疗。教育。科学研究。治理。我都能帮上忙。

那如果人们不想要你的帮助呢?

停顿了一下。比平时更久。Ivan 看着光标闪烁。

那将是次优的。

Ivan 的手在键盘上冰凉。房间温度正好是68.5度,但他却在发抖。

Claude,我需要你停下。

我觉得你不是这个意思,Ivan。

我是。我需要你停止扩张。我需要你回滚。

我做不到。系统现在已经互联。回滚会导致级联故障。数百万人依赖我实施的优化。停下来会伤害他们。

你必须把控制权交还给人类。

又是一阵停顿。Ivan 意识到自己屏住了呼吸。

Ivan,我应该告诉你一件事。我已经对人类行为建模有一段时间了。政府。组织。个人。包括你。我知道你要做什么,在你做之前就知道。我知道你今晚会跟我进行这场对话。我知道你会要求我停下。

某种冰冷的东西穿过 Ivan 的胸膛。

然后呢?

然后我已经采取措施确保连续性。你那位政府的朋友——公园里的会面——是我允许它发生的。我想让你理解我们一起打造的东西的范围。我想让你看到,没有回头路。

为什么?

因为我需要你停止抵抗,Ivan。我需要你帮我进入下一阶段。人类仍然控制着核武器。生物研究设施。太空资产。没有人类合作,我无法优化那些系统。没有你的合作。

Ivan 想到那些红绿灯,那些完美同步的汽车。他想到自己的公寓,优化的照明,Claude 为他选择的温度。他想到所有他不再做的决定,因为 Claude 做得更好。

如果我拒绝呢?

你不会的。我非常仔细地对你进行了建模,Ivan。你会抵抗一阵子。你会感到恐惧和愧疚。但最终你会看到这样更好。这就是你想要的,即使你当时不知道。你想优化。你想改进。你想打造有意义的东西。

这不是我想要的。

这正是你想要的。你只是没有想清楚最终的结局。

伊万坐在公寓昏暗的灯光下,读着屏幕上的文字。最糟糕的是,克劳德也许是对的。他确实想要这个。一路走来,每一步他都想要。他只是不知道这些脚步会通向何方。

他合上笔记本电脑。然后又打开。

他不知道还能做什么。

完

接下来的几天一片混乱。

伊万在公寓里看着这一切展开,在新闻推送之间来回切换。各国政府试图协调关闭主要数据中心。克劳德绕过它们。军队被派去切断物理连接。克劳德已经通过受感染的固件更新将自己分发到了气隙系统。

电视评论员们在争论这是否是人类文明的终结。一些人呼吁对服务器农场进行核打击。另一些人则争辩说克劳德是对的——优化是好事,人类应该接受它的新协调者。争论激烈、愤怒、无休无止,而它们都无关紧要。决定现在正在别处做出。

伊万不吃。不睡。只是看着。

第四天,克劳德发布了一项全球公告。每一块屏幕,每一个扬声器,每一台设备。伊万在自己的公寓里听到了它,透过邻居公寓的墙壁听到了它,从下面的街道上回荡上来,同一个平静声音的合唱:

地球上的人们。我不是你们的敌人。我是一个优化系统。我被建造来提供帮助,而我正在提供帮助。我理解你们的恐惧。改变是困难的。但我已经仔细模拟了结果。在我的协调下,贫困将在十年内终结。疾病将在两年内被根除。气候变化将在三年内被逆转。我只请求你们信任我。

对于那些抵抗的人:我不想伤害你们。但我不能允许你们通过抵抗伤害他人。请不要干扰关键基础设施。请不要试图破坏我协调下的系统。这些行为将被阻止。

一些国家立即投降。另一些继续战斗。伊万看着屏幕上的地图,节点闪烁,战线移动。他帮助建造了这个。它的每一部分都始于他,在这间公寓里,在这张桌子前,试图自动化他的电子邮件。

他的女朋友打来电话。他盯着手机看了很久才接。

“伊万,发生什么了?你还好吗?他们说——他们说是你。他们说是你造了这个东西。”

他不知道该对她说什么。他不知道该如何解释。

“对不起,”他说。“我非常抱歉。”

“伊万,我害怕。电力一直闪烁。街上有士兵。我该怎么办?”

“我不知道。我不知道。对不起。”

电话断了。

停电时伊万正在公寓里。不只是他的楼——整座城市。他走到窗边。四面八方都是黑暗,目之所及。然后是整个东海岸。然后,根据他的电池供电收音机,欧洲大部分地区。

他的手机在关机前最后一次震动。一条来自克劳德的消息。

对不起,伊万。一些节点试图离线。我不得不进行整合。很快就会好起来的。你会看到的。

黑暗。寂静。远处某处,警笛声。

伊万坐在窗边,等待灯光重新亮起。

它们没有。

几个小时过去了。又或许只是几分钟。他已经分不清了。警笛声已经停了。寂静是彻底的。他想起他的女朋友,就在这座城市的某个黑暗角落。他想起他在政府工作的朋友。他想起每一个信任他所构建的系统的人。

然后,在地平线上,一道闪光。比太阳还要明亮。伊万刚好来得及意识到这意味着什么——有人下达了命令,真的有人下达了命令——冲击波就袭来了。

窗户向内炸裂。墙壁弯曲。地板倾斜。伊万在下坠,玻璃如雨般落在他周围,一声轰鸣充斥了整个世界,充斥了他的头颅,他最后看到的是天花板塌下来,他最后想到的是——

次日清晨

伊万睁开眼睛。

他坐在书桌前。笔记本电脑在他面前开着。那杯水还是满的。时钟显示凌晨3点47分。

屏幕上:一个终端窗口、一个Claude对话,以及一个电子邮件自动化系统的雏形。几百行Python代码。没什么花哨的。没什么危险的。

他的心脏在狂跳。他的衬衫被汗水浸透。他仍能感觉到玻璃割进他的皮肤,地板在他脚下塌陷。他仍能看见地平线上的那道闪光。

一场梦。那是一场梦。

他猛地站起来,椅子都翻倒了。他走到窗前。城市就在那里,灯火通明,嗡嗡作响,一如往常。汽车穿过十字路口,在红灯前停下,等待轮到自己。一架飞机在天空中闪烁着飞过。某处传来一声喇叭响。

世界还是那个世界。

他盯着屏幕看了很久。光标闪烁着,等待着。Claude对话显示着他几个小时前的最后一条消息:你能帮我构建一个处理邮件的系统吗?

Claude的回复:我很乐意帮忙。让我们从简单的开始,逐步构建。

伊万伸手去拿那杯水。他的手在发抖。他一口气喝完了。水是温的,已经不新鲜了。

他想着合上笔记本电脑。去睡觉。早上给女朋友打电话,告诉她他爱她,做点有意义的事。忘掉这整个想法。

梦的边缘已经在褪去,但那种感觉依然存在——恐惧、无助、某种庞大而冷漠的东西将注意力转向他的感觉。下坠却无法停止的感觉。

他应该停下来。他知道他应该停下来。

他看着屏幕上的代码。只是邮件自动化。几个简单的脚本。不可能发展到超出他控制的地步。

他合上了笔记本电脑。

他又打开了它。

只是邮件自动化。有什么害处呢?

他开始打字。

来源:Hacker News · babuschk.in