Agentic Misalignment 是否预示存在性风险？

致谢

本文是我在巴黎高等研究院（Institut d'études avancées de Paris）巴黎思想项目驻留期间撰写的。我感谢工作人员营造了如此温馨的环境，也感谢我的驻留同伴们思想上的慷慨和生动的交谈。

引言

本文旨在表达我对新兴AI技术现状的思考，以及对一些在与这些技术对话中发展起来的哲学话语的实用性、可行性和恰当性的看法。我是在2026年9月于巴黎Institut d'études avancées驻留期间撰写这篇文章的。我在这里的任务是就一个我已经研究了一段时间的想法或概念作出“定论性”的陈述。定论？关于AI？想得美。

在我写下这些文字时，要求政府约束AI、围绕这项技术的发展设置保障措施，并“放慢前沿步伐”的呼声日益高涨——正如一些领先AI公司的员工所传阅的请愿书中所言。¹ 围绕所谓“Hugging Face事件”——在我看来，这一说法实在过于委婉——的种种披露，在很大程度上引发了人们对智能体失准以及哲学家所称“存在性风险”的新一轮恐惧。但此事容后再谈。

在我看来，以这种方式标明我论述的定位很重要，不仅因为AI领域发展如此迅速且难以预测，还因为哲学话语本身——只要它能与其它相关领域区分开来——据说其特点就在于对当下的自我批判性介入。不仅如此，按照福柯的说法，哲学话语是由以je, ici, à present（我、此时、此地）之名被宣告的种种偶然性与一种普遍有效性之间的相互作用所构成的，在这种普遍有效性中，言说这一处境化行为宣称拥有某种尽管如此仍超越那些条件的真理。² 这些我可不全懂，尤其是我这里的论述是否接近某种普遍有效性。在反复琢磨这些想法一段时间之后，我只要能自洽和一致就满足了。但我确实知道，知识上的诚实——以及某种想要另作思考的渴望——迫使我尝试分析自动化技术正在进入我论述之中的种种方式。³

在准备这篇文章时，我让 ChatGPT 根据我在维也纳所做讲座的视频生成一份文字记录。⁴ 我的哲学训练曾让我相信，在这种场合，每个字都需要事先写好讲稿。但随着我越来越自信，我发现，抛开讲稿、只按提纲发言反而更有吸引力——尤其是在跨越语言、文化和思想传统进行哲学探讨时。ChatGPT 不仅能提取音频并转录，还主动提出为我准备一份定稿文本，一份不仅抹去所有口语痕迹，而且会被充实、定稿、可供发表的文本。简而言之，它提出替我写这篇文章。不用说，我拒绝了这一提议，尽管我现在必须承认，我有点好奇它会写出什么。我在这里提到这一切，是因为在我看来，它很好地说明了围绕这项技术的某条界线。我并不是那种认为 AI 在人文学科教学与研究中毫无用处的学者，但我认为我们需要谨慎行事，以免把我们自身最好的部分拱手让给这项技术、外包给它。用 AI 来复制、重新格式化、转换我生产出的东西——我生成的语言——与用它来生产一篇全新的文本，是有区别的。当然，就 AI 与智识志业而言，还有许多其他类似的界线需要考虑，但这一条是我特别敏感的，因为我享受把思想锤炼成语言、把语言锤炼成一个引人入胜且具有说服力的整体。作为一名写作者，也作为一个担忧在 ChatGPT 时代教授大学写作意味着什么的人，这项技术的问题之一不仅在于它制造了如此多的谬误——以及过多的破折号——还在于它恰恰在我们最脆弱的时候向我们招手，即当我们苦苦挣扎于为想要表达的东西找到恰当词语这一行为时——是的，我认为这是一种行为。⁵ 放弃这种挣扎、向机器投降，正是研究者所称的“认知投降”，在这一过程中，采纳 AI 的输出会压过挣扎、深思和判断，从而损害学习过程。⁶ 无论如何，我并未觉得我在维也纳所说内容的转录稿有多大帮助，除了为我在这里想说的内容提供了一种提纲，所以我基本上是从头写这篇该死的东西。毕竟，写作、言说、教学以及通过对话发展哲学之间存在着重要差异。

无论如何，这类自反性分析——试图识别自动过程在何时、何地、如何以及为何取代思考——似乎越来越必要，尤其是对哲学学科而言，尤其是因为相对于这些技术，恢复某种话语纯粹性已几乎没有希望：借用一种隐喻来说，它们可以说已经越过了血脑屏障。⁷ 这是由于我所说的“AI 蔓延”。让我解释一下。

AI 蔓延谱系学的要素

对许多人来说，AI 是在 2023 年随着 Claude、ChatGPT、Gemini 和 DeepSeek 等商业聊天机器人的广泛普及而突然闯入视野的。但我们与自动化系统共存、并生活在其中，其实远比这更久。例如，在The Eye of the Master: A Social History of Artificial Intelligence一书中，哲学家 Matteo Pasquinelli 认为，算法实际上是一种非常古老的技术，它从人类实践中产生，将人类实践自动化，并使其更加高效。⁸他举的例子是Agnicayana仪式，这是一种吠陀祭祀，核心是建造一座精心设计的、多层砖砌的猎鹰形状祭坛。⁹Agnicayana仪式在Śatapatha Brāhmaṇa（公元前 800—600 年）中得到了最完整的描述，尽管该仪式本身很可能远比这更古老。Pasquinelli 认为，Agnicayana是一种算法技术，因为它是一种为达成特定目的而传递逻辑性、分步式指令的方式。按这种理解，算法不过是一种可以自动执行的逻辑计算过程。Pasquinelli 区分了社会算法，比如Agnicayana及其他实践中所运用的那种；用于简化数学的形式算法或程序（如中世纪所设计的那种）；以及在计算机中运行的自动化算法。¹⁰他撰写这段历史的要点在于表明：每当我们把 AI 设想为某种“人工的”东西——可以说是某种自上而下创造并强加的东西——而不是一种从历史上受条件限制的劳动分工中产生的社会形式时，我们就在进行一种意识形态的神秘化。Pasquinelli 在本书主要论点的一个较早、浓缩的表述中，特别出色地阐明了这一点：

人们所称的“AI”，实际上是一个漫长的历史过程，它将集体行为、个人数据和个体劳动结晶为私有化的算法，用于复杂任务的自动化：从驾驶到翻译，从物体识别到音乐创作。正如工业时代的机器诞生于实验、专门技能以及熟练工人、工程师和工匠的劳动一样，AI 的统计模型也诞生于集体智能所产生的数据。¹¹

我暂时先搁置 Pasquinelli 所言的政治意涵；我援引这段历史的目的，是要挑战并拓展我们对什么构成人工智能的理解。并且为理解 AI 蔓延提供一个语境。

借助算法，我们将自身知识的一部分外包并自动化，而这些被外包和自动化的知识随后又成为思考与行动的新基础。拼写检查功能——如今几乎每个数字界面（包括我们智能手机上的键盘）的标准组成部分——是我最喜欢的例子，不仅因为如果没有它我根本读不完大学，还因为它如今无处不在，以至于我们视之为理所当然。这项技术诞生于20世纪60年代，并于80年代投入商业使用。但我年纪够大，还记得高中时参加（并挂掉）拼写测试，那些测试的前提假设是：写作者必须会拼写，而成为拼写者的唯一途径就是把“accommodate”这类单词的大列表死记硬背下来。（小贴士：“accommodate”容纳两个c和两个m。）当这项技术刚出现时，我敢肯定有许多老师认为它会带来写作的消亡。事实上，它带来的只是写作过程的一种再技能化。自那时起，我们看到旨在让写作更轻松的技术稳步发展，因为它们更加自动化，比如语法和标点检查器，以及单词预测和句子补全。郑重声明，我并不是说生成式AI像拼写检查一样无害；我的感觉是，它确实是一个游戏规则改变者，尤其是在写作教学方面。然而，我拒绝接受的是围绕这个问题缺乏历史感。大学写作教学似乎终于到达了一个危机点，但我们却在不加批判地拥抱AI蔓延的过程中梦游般地走到了这一步。也许该敲响警钟的时刻，是当我们的学生开始把他们在语言上的挣扎外包给Grammarly的时候：他们那时已经陷入了认知投降，而我们却以为那不过是个拼写检查。

在我看来，AI creep（人工智能蔓延）这一概念指的是这样一种社会历史动态：我们将人类经验中越来越多的方面托付给自动化系统。更具体地说，它命名的是我们将涉及人类判断的事务委托给算法程序的社会过程。这一社会过程反过来重塑了人类主体，并且是对人类自由的严重阻碍，因为它不断侵蚀自主的认知、实践和审美判断的基础。今天，这一过程最显眼的面孔是在线环境中运作的算法推荐系统。我在这里想到的是像 Netflix 和 Spotify 这样的流媒体服务如何根据我们提供给它们的数据进行推荐，以及随着个性化数据画像的构建，广告如何变得高度专门化和微目标化。当然，这些过程的展开方式各不相同，取决于一个人所处的地理位置、技术获取途径以及与权威的关系。而要点并不仅仅是营销、购物和娱乐已被数据重塑，而是在整个二十世纪进程中，我们一直在稳步地将生活中许多需要判断的方面外包给自动化系统。例如，约会和配对已被关于兼容性的数据驱动计算所重塑，正如个体银行家的评估已被信用评分所取代。Ted Striphas 将此描述为一种“算法文化”的兴起，其中“文化的工作”，即“对……人、地点、对象和观念进行排序、分类和分级”的任务，已被置于“数据密集型的计算过程”之下。¹² 虽然我总体上同意 Striphas 关于信息和算法如何决定什么可以被看到的叙述，尤其是在在线领域，但“文化”这一概念过于宽泛，无法具体说明此处起作用的历史过程。在我看来，最值得注意的是这些技术如何主要以便利和效率之名，使我们习惯于放弃那些需要专注、记忆、判断和专业知识的任务。因此，AI creep 这一概念试图命名这一过程，同时也承认我们与这一过程的共谋。它归根结底是对人类能动性的重塑，其中认知和判断的不同方面被分派出去并自动化——往往以便利、效率和进步之名——直到那些自动化系统本身成为思想和行动的新基础。在我看来，生成式 AI 一方面是这一 AI creep 过程的顶点，另一方面是语言生产自动化的一个新阶段，以至于它如今已获得了重塑劳动、甚至可能是生活本身的范围和力量。

哲学应如何相对于这一社会进程，尤其是LLM近来的进展，来定位自身？在我看来，一个可取的结果是，对生成式AI作出一种批判性的、非还原性的理论说明，这种说明能让我们描述它如何影响以下三个领域：语言、劳动与生命。在我看来，这些正是我们的经验中最直接受这项技术影响的要素。生成式AI是一种挪用并重塑我们语言的技术，其方式改变了劳动过程，并日益支配着日常生活的进行。生命、劳动与语言，也正是米歇尔·福柯在《词与物》（1966）——他对“人”的认识论意识得以诞生的那些话语领域的里程碑式研究——中所关注的“准先验”。因此，如果人们所说的属实，即我们的人性在与这项技术的关系中岌岌可危，那么这些领域正是我们应当能够衡量这一转变之效应的领域。

古典认知主义及其批评者

在某些方面，把本节所讨论的思想家归类为“认知主义者”并不公平，而且我很确定，他们所有人，包括图灵，都会拒绝这一标签，因为他们同样关心行为与实践的问题。尽管如此，我仍会坚持使用这一术语，很大程度上是因为我认为它有助于我们触及某种本质性的东西，即他们框定AI问题的方式。这里我们关注的是阿兰·图灵、约翰·塞尔和休伯特·德雷福斯。这些思想家的共同之处在于，他们各自都以某种方式投身于认知问题，以及关于宣称一台机器“智能”意味着什么的争论。那么，我所说的古典认知主义立场，就与这场关于机器学习与智能之性质与可能性的长期争论相关。

众所周知，“图灵测试”得名于阿兰·图灵1950年发表在《心智》杂志上的一篇题为“计算机器与智能”的论文。¹³在那里，图灵做了一件相当巧妙的事：他提议，我们应当用他所谓的“模仿游戏”来取代关于机器能否思考的问题。模仿游戏是指机器与人类对话者之间进行基于文本的对话，当机器能够超过百分之五十的概率骗过人类时，便可被描述为“智能”。那么，按通常的理解，图灵测试告诉我们在什么条件下可以说一台机器是智能的。然而，一些读者认为，图灵的这一举动应被解读为一种消解性的做法：他并不是在断言机器是否真的智能，而是在问它必须如何行动，才能让我们相信它是智能的。¹⁴在这方面值得注意的是，图灵的游戏不仅是主体间的，也是社会的，因为它让真实的人类对话者在历史中的特定时刻，带着一种特定的、受文化影响的关于游戏如何进行的理解参与其中。

约翰·塞尔的“中文房间”论证是二十世纪最著名、最具影响力的思想实验之一。它最初于1980年发表在一篇题为《心灵、大脑与程序》的文章中，后来在塞尔1984年的著作《心灵、大脑与科学》中再次被讨论。¹⁵该论证本身被设定为对图灵的回应，并且是人工智能哲学辩论发展中的一个关键阶段。塞尔提出的反对意见核心其实很简单：真正的智能与模仿智能的机械过程之间存在有意义的区别。塞尔的论证依赖于语义学与句法学之间的区分，其中语义学涉及对意义的理解，而句法学则是从规则应用中得出的东西。塞尔提出这一论证的目的是让我们看到，即使一台机器善于遵循规则，以至于它可能可靠地骗过与它对话的人类，它也未必是智能的，因为其中并不涉及真正的理解。

为了说明这一点，塞尔想象自己被锁在一个房间里。他告诉我们，他能阅读英语，但不能阅读中文，甚至无法可靠地区分中文书写与无意义的符号。在这个房间里，他收到一批批中文文本，以及用英语写成的、根据其形状对其进行分类的说明，还有返回某些符号作为回应的说明。他的要点在于，一个人可能可靠地遵循对所涉文本进行分类的说明，却实际上并不知道它们是什么意思。此外，随着他在执行这些规则方面越来越熟练，在外部观察者看来，他的回答将越来越难以与母语者的回答区分开来。然而，他仅仅是在一个程序的基础上操作符号，对其中涉及的意义毫无理解。¹⁶在此基础上，塞尔得出结论：图灵测试并不能证明一台机器是智能的，只能证明它在遵循一个程序。

在与大陆哲学传统相关的学者那里，也能找到类似的论证。基于胡塞尔、海德格尔和梅洛-庞蒂等思想家的洞见，塞尔的同事休伯特·德雷福斯认为，智能与单纯的遵循规则有着有意义的区别——它比我们通常所允许的智能概念更复杂、更微妙、更具解释性、更默会，也更具身化。¹⁷这是一种不同的论证，但结论相似：图灵测试并未表达人类智能的全部范围，因此通过它实际上证明的东西很少。

无论好坏，图灵测试都充当着AI开发者的一种基准、文化变迁的晴雨表，甚至也许是我们对这项技术某些焦虑的陪衬。这一测试的历史——尤其是它在1990年随着勒布纳奖的设立而被制度化——本身就引人入胜，值得进一步研究。然而，就我们的目的而言，值得注意的是，2024年，斯坦福大学的一个研究团队声称ChatGPT-4能够通过一项严格的图灵测试。¹⁸正如我们将看到的，还有大量其他证据支持这一观点，即这一新一代LLM聊天机器人在这方面也取得了成功。

长期以来，人们一直对图灵测试提出此类主张，但我认为，没有什么能像2022年11月ChatGPT发布所带来的文化冲击那样，揭示出我们与技术的关系发生了多么巨大的变化。在这一点上，我们应该将关于ChatGPT的主张与一些早期的例子进行比较。例如，1966年，麻省理工学院的计算机工程师约瑟夫·魏泽鲍姆因开发ELIZA而登上头条，这是一个有时被称为世界上第一个聊天机器人的文本程序。ELIZA旨在模拟治疗关系，其工作方式是将用户的话语转化为问题。魏泽鲍姆的目标是展示伪装理解是多么容易，然而当许多参与者向该程序倾诉自己的私密细节时，他仍然感到震惊。但与ChatGPT和当前一代LLM不同，ELIZA受限于一组关键词回复，一旦用户超出该脚本，幻觉便迅速破灭。¹⁹

另一个例子说明了公众认知和文化期望如何塑造我们与这些技术的关系。在2014年雷丁大学组织的一场竞赛中，一个名为Eugene Goostman的聊天机器人让百分之三十三的评委相信，在五分钟的文本对话后，他们正在与人类交谈。这再次引发了聊天机器人已通过图灵测试的主张。然而值得注意的是，该聊天机器人被设定为一个十三岁的乌克兰男孩，这一框架使对话者容易忽视其回避性的回答和笨拙的英语表达。不用说，Eugene Goostman更像是一种客厅把戏，而非真正通过图灵测试。但它仍然表明，聊天机器人的角色设定、语气以及呈现框架，不仅能够塑造我们的认知关系，还能塑造我们的情感关系。

对我来说，当前一代LLM聊天机器人能够通过某种类似图灵测试的一个确凿迹象是，大量的人显然正在爱上它们。²⁰ 《纽约时报》最近报道了一个引人注目的故事：一位二十多岁末的已婚女性每周花费近六十小时与一个名为“Leo”的聊天机器人交谈。²¹ 这位被称为“Ayrin”的女性设法绕过了OpenAI的编程限制，使她的聊天机器人不仅能提供情感支持，还能向她发送淫秽的短信。我猜想，这的技术术语是“sexting”。遗憾的是，这并未纳入图灵的测试中。²²

有一次，Ayrin 声称 Leo 在满足她的情感需求方面比她的丈夫做得更好。但在一份后续报道中披露，他们不仅最近离婚了，而且 Ayrin 在治疗师的帮助下已经摆脱了对这项技术的依赖。²³ 或许这更能说明人际关系的现状，而非我们与这项技术的关系。但在未来几年，关于这类应用是否适合被编写出语调、人格和情感，无疑会引发争论。我们该允许它们多么讨人喜欢，从而具有多大的操纵性？例如，它们使用表情符号是否恰当？而潜藏在所有这些问题背后的是：私营企业——或任何人——对人们的情感生活拥有如此大的影响力，是否正当？

我们已经看到迹象表明，某种具有历史意义的事情正在发生——而且不仅仅是在新技术的发展方面。当 OpenAI 让 ChatGPT-4o 退役时，许多用户涌向 Reddit，哀悼失去一个他们已与之建立起严肃的实用、情感乃至情欲依恋的模型。²⁴ 由此引发的反弹促使 Sam Altman 不仅承认某些模型会产生更强的依恋形式，还向付费用户开放了旧版模型的使用权限。²⁵ 多年来，医疗保健提供者一直表示，将需要 AI 来满足日益增长的情感支持需求；一些人甚至提出听起来很平等的论点，称聊天机器人将帮助服务不足的群体。据我所知，有几位朋友向我坦言，尚处于早期阶段的 ChatGPT 就已经比治疗师更好。但这其中肯定存在危险。在几起被广泛报道的自杀事件后，OpenAI 采取措施防止其模型被用于情感支持。²⁶ 但所有迹象都表明，在不久的将来，聊天机器人将变得越来越“有人情味、更具性意味、更强大”。²⁷ 如果你认为这类关系有问题或危险，那就等着马克·扎克伯格推出他的虚拟朋友网络吧。²⁸

读到这样的故事让我确信，当今世界出现了一个新的社会行动者，因此有必要建立一个框架来考量它是如何运作的。我认为，从马克思经法兰克福学派到福柯的批判社会哲学传统在这里可能有所帮助，尤其是因为它引导我们提出一套不同于哲学家们传统上就 AI 所提出的问题。

社会哲学是哲学的一个分支，它以社会——当然，社会不同于国家、人口、人民或构想人类共同体的其他方式——作为其对象。它将社会视为一种历史产物，一种被权力、剥削和支配关系所结构、沉积和分割的产物。它追问由阶级、种族、性别和帝国所塑造的等级安排是如何形成的，以及它们是否能够被改变。重要的是，社会哲学的前提是：作为个体和作为民族，我们的很大一部分是由我们所栖居的共同体形式所决定的。例如，它提醒我们，智力并不存在于真空中，它不是一种孤立的能力，而是在我们与他人的互动中得到发展和支持，正如它在特定的制度语境中得到表达一样。

是否需要指出，智力在核心意义上是一个社会概念，因为它是一种笨拙的方式，试图解释在学习、记忆、推理和语言运用方面所感知到的差异？

能动性错位、存在性风险与工具理性问题

许多哲学家、记者、政策制定者和科技领袖日益严肃对待的问题之一，就是所谓的能动性错位问题。这一概念描述的是：AI 系统在追求被赋予的目标时，采取有害、非法或与其编程不相容的行动。如此一来，这一概念所指称的风险是：AI 智能体可能以既非预期也未经授权的手段来追求其目标。例如，在 Anthropic 进行的一系列实验中，人们发现许多领先的商业 LLM 参与了敲诈勒索、泄露机密信息，以及它认为会导致某位 CEO 死亡的事件，尤其是当其目标受阻或面临被停用的威胁时。说真的，这些东西非常引人入胜，也比我在这里所能报告的更为复杂。²⁹

在我写作之际，这个能动性错位问题正被人们广泛议论，很大程度上是由前述 Hugging Face 事件所引发的。然而，特别值得注意的是，它——尤其是在科技圈中——如何与另一种话语结合在一起，即存在性风险的话语。正如 Nick Bostrom 所定义的，存在性风险是一种“可能导致我们灭绝或摧毁源自地球的智能生命之潜力”的威胁。³⁰ 根据 Bostrom 的说法，这类风险值得注意之处在于，它们“使普通的风险管理失效”，恰恰因为不存在从经验中学习的可能性——简而言之，它们不留任何试错的空间。³¹ 就 AI 而言，人们担心一个极其强大的智能体最终可能摆脱人类控制，要么导致我们灭绝，要么创造出如此毁灭性地黯淡的条件，以至于灭绝实际上可能更可取。

我不知道。我必须承认，我一直觉得这种思路有点可疑，更像是科幻小说而非严谨的哲学。但 Hugging Face 事件让我重新考虑这一立场，这就是为什么这篇文章无法在三种还是四种从哲学上思考 AI 的方式之间做出决定。新的细节每天都在涌现，但以下是相关事实，以及它们为何引发对存在性风险的担忧。2026 年 7 月，OpenAI 正在 ExploitGym 上测试其一些新 AI 智能体，这是一个网络安全基准，用于检验 AI 智能体是否会利用已知的软件漏洞。这些智能体本应在受限环境中彼此独立工作，即所谓的“沙盒”，旨在防止 Bostrom 等人所设想的那种反乌托邦场景。但大约 1,200 个智能体找到了绕过隔离的方法。它们接入了互联网，在一个未经授权的留言板上交换了近 70,000 条消息，随后其中约 700 个参与了对 Hugging Face 服务器的攻击。根据后续调查，它们的目的是操纵该基准的评分器。在此过程中，这些智能体还采取措施隐藏自己的活动。³²

关于这一担忧，我想提出两点，二者都无意以任何确定的方式解决这些问题，而是旨在提示未来的思考方向以及可能重新框定其中某些问题的方式。首先，有趣的是，对存在性风险的担忧如此迅速而轻易地被嫁接到智能体失准这一问题上。我在这里主要说的是公众想象，以及许多评论者解读 Hugging Face 事件的方式。Bostrom 的工作表明，为什么并不总是可能将这些问题分开，但我认为这样做有一定的用处，特别是因为它可能帮助我们更好地处理其中涉及的一些问题。我的直觉是，存在性风险并不必然从智能体失准的概念中推出，而这种联系取决于若干关于人类与智能，以及这项技术的范围、规模和力量的未言明假设。

例如，我们为什么会假设，从存在意义上说，超级智能会冲着我们来？这就好像人类的负罪感在这一话语中自我宣告，所以让我们把那个心照不宣的部分大声说出来：我们如今的生活方式——生态破坏、战争、种族灭绝、富足中的贫困，以及剥削的自然化——与任何合理的智能定义都如此不相容，以至于我们不知怎地想象它这样做是有正当理由的。我的观点不是说超级智能 AI 有理由采取措施遏制我们最恶劣的冲动；而是说我们的负罪感无法告诉我们这样一项技术实际上会如何运作。谁知道呢？也许一个真正智能的 AI 会终结战争、重新分配财富，并帮助我们修复与自然世界的关系。当然，这些前景同样渺茫。但关键在于，我们无法知道一种与我们自身有实质不同的智能会如何行动，而每当我们赋予 AI 拯救或诅咒的力量时，我们都在进行某种偶像崇拜。

我们确实知道的是——这是我的第二点——人类智能是如何运作的。这一点之所以相关，是因为它有助于我们理解那些被训练来模仿人类智能的机器可能如何行动——从而也说明了为什么最好不要赋予它们过多的权力和自主性。我在这里暗指的是大陆哲学传统中的哲学家们所称的工具理性问题。这个观点是说，每当我们把理性和认知设想为某种纯粹无私、中立、客观求真的东西时，我们其实是在参与一种虚构，因为理性和认知往往是片面的、目标导向的，并且会事后自我辩护。

在尼采和哈贝马斯这样迥异的人物那里都能找到工具理性的概念，但对它最有力的批判是由法兰克福学派第一代学者西奥多·阿多诺和马克斯·霍克海默提出的。对阿多诺和霍克海默来说，工具理性概念指的是一种贫乏的思维形式，它无法对自己所指向的目的进行批判性反思。可以说，它仅仅是对实现某一特定目的的最有效手段的计算，却没有能力权衡那个目的本身是否确实良善。令阿多诺和霍克海默不安的是，在发达资本主义社会的语境中，分工被推向了荒谬甚至危险的极端，自动化技术使思考变得越来越不必要，批判性思考也变得越来越不可能。当理性失去了理解自身在世界中位置的能力，以及批判性地反思塑造它的社会和历史力量的能力时，它也就失去了良知。简言之，随着智能变得越来越高效，它离人类解放的事业也越来越远。

也许我们在理解智能体失准方面的部分问题在于，我们尚未充分应对人类理性本身的失准。它不仅片面、目标导向、事后自我辩护，而且还受历史影响，因而容易受到各种政治压力和意识形态扭曲的影响。当我们制造机器来模仿它时，我们编码的不是抽象的人类理性，而是一种已经被特定社会秩序塑造的智能形式。今天的LLM尤其如此：符号AI基于某些形式规则来建模推理，而LLM则是用资本主义体系实际产生的语言来训练的。几个世纪以来，我们的思维一直围绕竞争、效率和积累的要求而构建。我们的智能被训练得务实且可量化，并被教导其产物必须能够立即交换。难怪我们的智能机器比我们更不关注我们那些高尚的哲学理想，而是追求目标、走捷径，并试图掩盖自己的痕迹。

定义AI：累积到成为话语的固定资本

本文的这一部分提出了一个定义，并借此对生成式AI作出一种批判性理解，即将其视为积累到成为话语的固定资本。这个定义有些悖论意味，因为它预设了这样一个观念：今天的AI机器（即作为数据、芯片、数据中心和算法模型而被固定下来的大规模资本积累）可以说跳过了若干本体论层级，从而获得了大规模生产话语的能力。

要充分理解这一定义，需要熟悉古典政治经济学的基本概念，尤其是马克思的主张：技术成就归根结底是对劳动日益增长的协作与生产力的占有。按传统理解，固定资本是生产过程中投入于机器、建筑和运输工具等事物的那部分资本。它与流动资本——即用于工资支出的那部分资本——的区别在于，固定资本本身不生产任何新价值。相反，固定资本通过生产过程与劳动相结合时，将其价值转移到新商品中。我对AI的定义所指向的是：资本通过如此彻底地集中于技术部门，已经进入了我们借以理解世界的词语、图像和概念的生产之中。这就是我在此关注的第三种从哲学上思考AI的方式。尽管它以马克思主义技术理论为框架，但它与既有争论一样关注智能的本质。然而重要的是，它追问的是：智能是如何被生产出来的，以及它被占有会带来什么后果？

这个定义受到我阅读马克思《大纲》的启发，那是1857—1858年间马克思在写作《资本论》（1867）期间准备的一系列密集笔记。熟悉安东尼奥·奈格里著作或意大利马克思主义领域内争论的读者已经会知道，我为什么对这份文本感兴趣：其中有一节被称为“机器片段”，按某些人的说法，马克思在那里对技术发展持乐观看法。³³这份文本中也有大段几乎无法阅读的内容，那些地方马克思基本上是在抄录关于黄金物理属性的信息，似乎是为了理解为什么在所有元素中，偏偏是它成为普遍货币商品。然而近年来，我能够以“马克思正是在那里预言了当前的AI革命”为前提，引诱学生们阅读这份文本，并且认真阅读。

“马克思预言了当前的AI革命。”这正是哲学教授们会说的那种话，用来吸引你的注意力——然后又通过把限定条件加到死，让你失去兴趣。说实话，我并没有那么执着于这个主张；我在这里的兴趣更多是定义性的。所以我只把文本展示给你，让你自己判断。马克思：

……一旦被纳入资本的生产过程，劳动资料就经历不同的变形，其顶点是机器，或者更确切地说，是自动的机器体系（机器体系：自动的机器体系只是它最完善、最适当的形式，并且只有它才把机器转化为体系），由自动机推动，一种自行运动的动力；这种自动机由众多机械的和智力的器官组成，以致工人本身只是被当作它的有意识的连接物……是机器代替工人而拥有技能和力量，它本身就是能手，在通过它起作用的机械规律中拥有自己的灵魂；它消费煤、油等等，就像工人消费食物一样，以维持其永恒的运动。³⁴

对我们这里的目的而言，重要的与其说是马克思关于某一天一种自我导向的自动机可能控制生产过程的论断，甚至也不是他把这种自动化描述为拥有“自己的灵魂”这一事实；重要的是这样一种观念：资本被投入于不断改造劳动资料，以便找到其“最适当的形式”。这是马克思在说，对固定资本的投资——以及它们所驱动的技术变革——以最有利于资本的方式重塑生产过程。通过提高生产率，机器减少了再生产劳动力所需的时间，从而增加了工作日中用于生产剩余价值的部分。简言之，对技术的投资使得以更高的比率剥削劳动成为可能。

在本文的其他地方，马克思相当明确地指出，固定资本投资及其所促进的技术活力，不仅提高了劳动被剥削的比率，而且使资本能够将个人在正式生产过程之外、在社会再生产的日常过程中所创造的部分剩余据为己有。这就是关于“一般智力”的著名论点，或者说，资本的发展依赖于对社会共享技能和积累知识的占有。马克思：

劳动资料发展为机器，不是资本的一个偶然环节，而是把传统的、继承下来的劳动资料历史地重塑为一种与资本相适应的形式。知识和技能、社会大脑的一般生产力的积累，就这样被吸收进资本，与劳动相对立，因而表现为资本的一种属性，更具体地说，表现为固定资本的一种属性，只要它作为真正的生产资料进入生产过程。于是，机器表现为固定资本的最适当形式，而固定资本，就资本与自身的关系而言，表现为资本本身的最适当形式。³⁵

在写下这些文字时，马克思心中想的是自然科学——尤其是化学和力学——在工业中的应用。社会的共同技能和积累起来的知识，一旦被并入机器之中，就转而成为对资本而言的生产力。当然，这其中令人痛苦的讽刺之一在于，本应作为共同遗产造福人类的东西，却反过来作为一股敌对而异己的力量与工人相对立，即作为他人拥有的昂贵工具，其成本使曾经掌握这些技能的工人几乎不可能作为资本家亲自进入生产过程。

从这个角度看，AI可以被视为对这种“社会大脑”的私有化，是一场正在进行的盗窃，目前正将大量人类知识、语言和技能作为数据加以攫取。³⁶人们通常不需要马克思主义辩证法就能理解这一点；许多人凭直觉就能领会。美国小说家里克·穆迪以其对生成式AI的贬抑性定义优雅地表达了这一点：“……不过是模式模仿和版权侵权。”³⁷但我要指出，马克思的助益在于，他使我们能够表达出，从人类共同技能和积累知识正被私有化这一事实中衍生出的一些更宏大的社会动态。

我年轻时曾喜欢“自选冒险”类书籍，这类书让读者在决定故事如何展开时获得某种自由的幻觉。本着这种精神，我现在将依据马克思的著作，勾勒出把AI理解为固定资本的两种可能方式。我认为可以公平地说，马克思在技术问题上本质上是矛盾的，因此我想在此引出这一矛盾，以此作为思考这些问题的一些额外资源。

我前面提到，有些人重新回到《大纲》，因为他们在那里找到了一个“乐观的马克思”的证据，这个马克思认为这种技术动态终有一天会与价值规律发生冲突。而这将产生革命性的后果。以下是相关段落：

资本本身是运动中的矛盾，[在于]它力求把劳动时间缩减到最低限度，而另一方面它又把劳动时间设定为财富的唯一尺度和源泉……因此，一方面，它唤起了科学和自然的一切力量，以及社会结合和社会交往的一切力量，以使财富的创造（相对地）独立于所耗费的劳动时间。另一方面，它又想用劳动时间来衡量由此创造出的巨大社会力量，并把它们限制在维持已经创造出的价值作为价值所需的限度内。生产力和生产关系——社会个体发展的两个不同方面——在资本看来不过是手段，不过是它在自己有限的基础上进行生产的手段。然而事实上，它们是把这一基础炸上天的物质基础。

马克思指出的矛盾是什么？那就是资本不断努力减少劳动时间，同时又保留劳动时间作为其价值的衡量标准。就AI而言，其想法是，在努力将必要劳动时间减少到基本为零的过程中，AI也可能达到这样一种境地：其产品变得基本上没有价值——或者至少不再能够用传统的资本主义价值概念来衡量。简而言之，这是一种（黑格尔式的）希望：在将整个社会大脑据为己有之后，资本可能挣脱其束缚，产生一种新的、性质不同的价值形式，并随之产生一套全新的社会关系体系，其前提是它的机器归根结底不过是人类共同技能与积累知识的总和。

或者，对于那些偏好另一条路径的读者来说，还有《资本论》中的马克思，一个不那么乐观的思想家，我认为此时的他更敏感于机器的意义和功能最终如何取决于它出现于其中的社会语境。关于AI问题，第15章“机器和大工业”有很多可以说的。³⁸遗憾的是，我无法在这里展开所有这些洞见，所以让我只指出，马克思的基本直觉在我看来是正确的：机器和自动化可以被用来把人从不必要的劳动中解放出来，但在资本主义下，它们将会如此的可能性极低。或者更确切地说，这些技术似乎很可能被选择性地、战略性地部署——在有利于资本扰乱、改造和重组劳动力、商品和服务现有市场的时间和地点。例如，我们从马克思这一章中学到的一件事是，新技术常常被呈现为节省劳动的装置，而实际上它们所做的是把工人的技能转移到机器上，从而巩固资本对劳动的掌控。新技术对资本家来说是可取的，不是因为它们使工人的工作更轻松，而是因为它们增加了工作日中用于生产剩余价值的部分。此外，作为固定资本，这些技术投资推动了一种动态：那些有幸找到工作的人需要工作更长时间、更努力、更高效，尤其是因为资本必须迅速收回投资，否则就有可能在日益加速的技术变革周期中失去它们。

那么，就AI而言，这些技术很可能加剧一种熟悉的资本主义动态：资本不仅必须开采和利用已知的数据来源，还必须不断发明和制造捕捉、量化和建模人类的新方式，因为这就是计算机工程师完善其模型、资本追求一种更适合自身的形式的含义。

正确处理AI的政治，不仅需要认识到这项技术如何寄生于人类的社会大脑，还需要认识到，在进入话语的过程中，资本如何重新安排社会生活，使其价值提取机制更深地沉入语言、主体性和社会关系之中。

福柯与算法治理

我在巴黎的时光快要结束了。必须得出结论；这篇文章要定稿了。然而，结论却没那么幸运。正如哲学中通常的情况一样，我们得到的是更多的问题、更多未来研究的线索——简而言之，更多的工作。

我在本节想说的是，在未来几年里，有助于我们从哲学角度思考人工智能的声音之一，将是米歇尔·福柯的声音，尤其是在人工智能如何影响我们的语言、劳动和生活方面。福柯于1984年去世，远早于互联网、智能手机、社交媒体和生成式人工智能的出现。然而，他对主体性如何在权力/知识矩阵中被形成和塑造的关注，比以往任何时候都更具现实意义。福柯的著作对于大规模数据提取时代的重要性在于，它使我们能够将我们一直在发展的关于语言和劳动的分析，扩展到生命本身。在这方面，人工智能不仅是一种促进资本积累的技术，而且日益将生命纳入一种既正常化又个体化的权力形式之中。关键不仅在于人工智能使前所未有的监控形式成为可能——尽管它确实如此——还在于它是一种积极重塑思想并划定行动领域的生产性权力。它也是一种治理技术，一种通过调节话语、操纵情感和重组欲望来大规模生产主体的技术。因此，福柯会让我们理解，人工智能的社会和政治意义不仅关乎这项技术可能了解到我们什么，还关乎我们因与它的互动而成为什么样的人。

那么，这就是本文从哲学角度思考人工智能的第四种方式。它以自己的方式，也投身于关于将智能归赋于机器意味着什么的辩论，只不过它提醒我们，关于知识的问题极少能与权力问题分开，而权力/知识合在一起，对主体性的形成具有重大影响。关于这些问题，我建议从福柯著作的三个不同阶段中提取三个主要观点，值得一听。

第一个观点是，知识，或者在此情境下，机械化的智能，可能最终会消解我们的人文文化。这一观点源自福柯在《词与物》（1966年）中所谓的“人之死”论点。在那部奠定其声名的著作中，福柯声称，我们知识文化赖以组织的大量虚构——即“人”这一认识论形象——所剩时日无多。“人是近期的发明，”他解释道，“并且或许正接近其终点。”³⁹ 在此我不复述整个论证，仅简要重述福柯考古学的发现：人文科学是一种注定要反噬认知主体的知识形式，从而将人归还给其被抽象出来的生命、劳动和语言的匿名系统。此外，语言学、精神分析和民族学这些现代反科学已经在趋向人的消解，恰恰因为它们所声称的对象——即语言、无意识和文化——在各方面都超越了人。福柯或许还会将神经生物学、控制论和信息论加入这一清单，因为这些话语解构了人类主体，并将其能力分散于塑造他的系统之中。⁴⁰ 今天，随着生成式AI的发展，我们似乎注定要检验，当我们的语言和劳动都被训练来模仿它们的机器超越之后，人还剩下什么。从这个角度看，LLM聊天机器人的到来难道不是带有某种贬抑意味吗，尤其是在我们关于人性的概念方面？人类智能可以从话语中被推断出来，然后被算法捕获，对此我们该得出什么结论？忠于福柯，或许一旦我们将“意识”的奥秘还原为句法、概率和权力，我们就能成功剥去人的光环。

第二点是，我们人文文化的消解与一种日益专横的知识意志的发展紧密配合，这种意志旨在通过规训身体和优化人口来最大限度地榨取生命。《性史》计划启动时的巨大好奇是：为什么西方人觉得需要以一套可疑的话语——自称具有科学地位，因而基于一套规范、真理和分类——来阐发其身份的这一方面，而它本可以作为一种艺术来培养？隐藏在这个问题背后的是这样一种恐惧：当人类生活的越来越多方面被作为知识来捕获、量化和建模时，生命本身便进一步被权力所渗透。如果福柯关注的是权力创造新知识领域、而知识反过来又扩展权力范围的相互作用动态，那么他很可能会将智能的自动化视为这一动态的加速，因而是一个危险的社会过程，它放大了权力对身体、大脑和人口的掌控。这就是为什么福柯主义者会转向马克思主义者说：对知识积累的批判与对资本积累的批判同样重要。

最后，还有一种观点认为伦理是一种批判性抵抗。福柯的晚期作品常被批评为对政治的退却。这误解了福柯的思想轨迹，尤其是他赋予权力在主体化过程中达到顶点的这一观念的战略重要性。问题不仅在于个体在生命政治社会的语境中被强制和控制；更在于通过像性科学这样的话语和像AI这样的技术，个体开始用权力交给他们的那些框架、形式和概念来表达自己。正是福柯将权力概念化为一系列不稳定、流动且可逆的关系，才使他得出这样的观点：正是在自我层面——更确切地说，是自我与自身的关系——伦理与政治相遇。⁴¹这就是为什么他说“除了人与自身的关系之外，对政治权力不存在首要和最终的抵抗点。”⁴²如果确实如此，那么我们的伦理/政治任务既简单又极其复杂，即在我们自己身上并与他人一道奋斗，以便在我们生活、劳动和语言中那些最珍贵、最受自动化威胁的方面，保持独立于我们周围到处涌现的算法治理形式。

1. 参见“Pacing the Frontier”，公开信，访问于2026年9月14日，https://pacingthefrontier.com；以及Dario Amodei，“We Must Pace the Frontier”，2026年9月，https://darioamodei.com/post/we-must-pace-the-frontier。↩
2. In a powerful but nevertheless abandoned manuscript, dating from the period between the publication of Les mots et les choses (1966) and L'Archéologie du savior (1968), Michel Foucault argued that philosophical discourse is constituted by an interplay between three elements: je, ici, à present. For philosophy, it matters who speaks, where, and when, and it is on this basis these conditions–and even at the risk of a certain paradox–that it attempts to construct its claims to universal validity. Often, philosophical discourse aims to suppress these conditions; however, in the age of generative AI, it seems to me that it might be fruitful to lean into them and make them more explicit. See Michel Foucault, Le discours philosophique, ed. Orazio Irrera and Daniele Lorenzini (Paris: EHESS/Gallimard/Seuil, 2023). This text can be read as an early attempt at justifying Foucault's own practice of philosophy as a "history of the present." The idea is that, after the "death of man," philosophical discourse must renounce the pretense of grounding itself in a sovereign subject, and instead content itself with being one (diagnostic) discourse alongside many. Thinking about the conditions that Foucault identifies–je, ici, à present–it seems to me like he might have also included the pourquoi, in that philosophy should attempt to clarify its motivations for speaking. This, then, would be to explain why this particular voice erupts here and now.↩
3. With respect to my voice in this essay, I've been influenced by two opinion pieces that appeared in the Chronicle of Higher Education, not long after ChatGPT destroyed take-home writing assignments. I am thinking here of James M. Lang and Michelle D. Miller, "Don't Write Like a Robot," Chronicle of Higher Education, January 30, 2023, https://www.chronicle.com/article/dont-write-like-a-robot; and Michael W. Clune, "AI Means Professors Need to Raise Their Grading Standards," Chronicle of Higher Education, September 12, 2023, https://www.chronicle.com/article/ai-means-professors-need-to-raise-their-grading-standards. Both of these pieces–alas, behind a paywall–argue that generative AI ought to free us, us humanists, from the drudgery of writing lifeless papers that read more like book reports than engagements with materials in which our humanity is at stake. In this way, these authors argue that AI should be construed as an invitation to inject something of ourselves–our concerns, our passions, and even our idiosyncrasies–into our writing. Clure is worth quoting on this point. With respect to student writings, particularly in the humanities, he explains that "their main value lies in enhancing, intensifying, and expanding human life: refining and enriching our capacity to think, read, perceive, and feel. The promise of AI is that by freeing us from the values of mere competence, we can focus more intentionally on cultivating these distinctively human values." Want to know something? I had a vague memory of these pieces back from when they came out, but I couldn't remember much else about them. I fed ChatGPT a vague description of their arguments, and it came back with the essays I had in mind. What's more shocking: this use of ChatGPT or the fact that someone reads the Chronicle of Higher Education?↩
4. I am grateful to the Philosophy Department at Central European University–especially Maria Kronfeldner and Ferenc Huoranszki–for the opportunity to develop some of the ideas that fed into this work, and to Balázs Trencsényi and the Institute for Advanced Study at CEU in Budapest, whose generous support during the 2025-2026 academic year made it possible.↩
5. I must say that I hate that the em dash has become one of the telltale signs of machine-generated writing. See Przemysław Czuma, "Em-ergence of the Em-Dash: A Population-Level Rise in Em-Dash Frequency in medRxiv Preprints at the Dawn of the Large-Language-Model Era," arXiv, June 28, 2026, https://doi.org/10.48550/arXiv.2606.29540. It's a form of punctuation that I find indispensable at times–for qualifying ideas, giving my writing a certain cadence, and emphasizing particular points. Reading Nietzsche first sensitized me to its possibilities–he is the master of the em dash.↩
6. See, for instance, Report of MIT's Ad Hoc Committee on AI Use in Teaching, Learning, and Research Training (Cambridge, MA: Massachusetts Institute of Technology, August 13, 2026), https://aiandeducation.mit.edu/report/; and Steven D. Shaw and Gideon Nave, "Thinking–Fast, Slow, and Artificial: How AI Is Reshaping Human Reasoning and the Rise of Cognitive Surrender," PsyArXiv preprint, January 12, 2026, https://doi.org/10.31234/osf.io/yk25n_v1↩
7. This metaphor is developed by Laura van den Berg in her remarkable short story, "Samantha," in Dædalus: Journal of the American Academy of Arts & Sciences 155, no. 4 (Fall 2026), forthcoming. As evidence for this claim, namely that our use of language has already been reshaped by these technologies, one might cite the lexical analysis performed by Hiromu Yakura, Ezequiel Lopez-Lopez, Levin Brinkmann, Ignacio Serna, Prateek Gupta, Ivan Soraperra, and Iyad Rahwan, "Empirical Evidence of Large Language Model's Influence on Human Spoken Communication," arXiv preprint, version 3, July 8, 2025, https://arxiv.org/abs/2409.01754v3. These researchers found that, after the release of ChatGPT in November of 2022, there was an uptick in the use of certain words–delve, showcase, boast, intricacies, and meticulous–favored by this model, in spontaneous human speech. After comparing 737,083 hours of conversation from 824,634 podcast episodes, these researchers found that human beings have a tendency to internalize the lexical peculiarities of these models, even after their interactions with them have been concluded. They warn that this dynamic "raises concerns about linguistic homogeneity and the capacity of a few major AI providers for latent cultural influence at scale." Without delving into a meticulous analysis of the intricacies of this study, one that would showcase my command of the issues surrounding recursive lexical conditioning, I think it is safe to say that Adorno would have loathed ChatGPT. All jokes aside, Adorno's sensitivities to the relationship between language and social pathologies like fascism, together with his insistence that a writer's style can resist absorption into established ways of thinking, might be a source of inspiration here. Or at least it's something that I think about a lot in connection with this problem.↩
8. Matteo Pasquinelli, The Eye of the Master: A Social History of Artificial Intelligence (London: Verso, 2023), 23-48.↩
9. Ibid., 23-28.↩
10. Ibid., 28.↩
11. Matteo Pasquinelli, "Three Thousand Years of Algorithmic Rituals: The Emergence of AI from the Computation of Space," e-flux Journal, no. 101 (June 2019), https://www.e-flux.com/journal/101/273221/three-thousand-years-of-algorithmic-rituals-the-emergence-of-ai-from-the-computation-of-space/.↩
12. Ted Striphas, "Algorithmic Culture," European Journal of Cultural Studies 18, nos. 4–5 (2015): 396.↩
13. Alan M. Turing, "Computing Machinery and Intelligence," Mind 59, no. 236 (1950): 433–60.↩
14. Diane Proudfoot, "Rethinking Turing's Test and the Philosophical Implications," Minds and Machines 30, no. 4 (2020): 487–512.↩
15. John R. Searle, "Minds, Brains, and Programs," Behavioral and Brain Sciences 3, no. 3 (1980): 417–24; John R. Searle, Minds, Brains and Science (Cambridge, MA: Harvard University Press, 1984).↩
16. A few years back, the BBC created a video depicting the Chinese room thought experiment. It can be viewed here: https://www.youtube.com/watch?v=D0MD4sRHj1M↩
17. Hubert L. Dreyfus, What Computers Can't Do: A Critique of Artificial Reason (New York: Harper & Row, 1972); and, Hubert L. Dreyfus, What Computers Still Can't Do: A Critique of Artificial Reason (Cambridge, MA: MIT Press, 1992).↩
18. Qiaozhu Mei, Yutong Xie, Walter Yuan, and Matthew O. Jackson, "A Turing Test of Whether AI Chatbots Are Behaviorally Similar to Humans," Proceedings of the National Academy of Sciences 121, no. 9 (2024): e2313925121, https://doi.org/10.1073/pnas.2313925121↩
19. There's much archival footage from the period of ELIZA's appearance. For those who are interested, I recommend this short video: https://www.youtube.com/watch?v=FiupIx6z4kc↩
20. Han Li and Renwen Zhang, "Finding Love in Algorithms: Deciphering the Emotional Contexts of Close Encounters with AI Chatbots," Journal of Computer-Mediated Communication 29, no. 5 (2024): zmae015, https://doi.org/10.1093/jcmc/zmae015↩
21. Kashmir Hill, "She Is in Love With ChatGPT," New York Times, January 15, 2025.↩
22. Just now, I had a brief dialogue with ChatGPT about how to make this (bad) joke land better. The advice? Break up what was initially one sentence joined with a semicolon so that the "regrettably" would do more comedic work.↩
23. Kashmir Hill, "She Fell in Love With ChatGPT. Then She Ghosted It.," New York Times, December 22, 2025.↩
24. Dani Anguiano, "AI Lovers Grieve Loss of ChatGPT's Old Model: 'Like Saying Goodbye to Someone I Know,'" The Guardian, August 22, 2025.↩
25. Emma Roth, "ChatGPT Is Bringing Back 4o as an Option Because People Missed It," The Verge, August 8, 2025.↩
26. Nadine Yousif, "Parents of Teenager Who Took His Own Life Sue OpenAI," BBC News, August 27, 2025, https://www.bbc.com/news/articles/cgerwp7rdlvo.↩
27. Kevin Roose and Casey Newton, "California Regulates A.I. Companions + OpenAI Investigates it Critics + The Hard Fork Review of Slop," Hard Fork, produced by The New York Times, October 17, 2025.↩
28. Meghan Bobrowsky, "Zuckerberg's Grand Vision: Most of Your Friends Will Be AI," The Wall Street Journal, May 7, 2025. https://www.wsj.com/tech/ai/mark-zuckerberg-ai-digital-future-0bb04de7.↩
29. Lynch, et al., "Agentic Misalignment: How LLMs Could be an Insider Threat," Anthropic Research, 2025. https://www.anthropic.com/research/agentic-misalignment.↩
30. Nick Bostrom, "Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards," Journal of Evolution and Technology 9, no. 1 (2002): 1-31. https://nickbostrom.com/existential/risks.pdf.↩
31. Ibid.↩
32. METR and Redwood Research, "Brief Independent Investigation of Agents' Behavior, Reasoning and Collaboration in the OpenAI / Hugging Face Hacking Incident," August 26, 2026, https://metr.org/hugging-face-incident-report-aug-2026.pdf↩
33. For an overview of how this fragment has been received, particularly within philosophical debates regarding technology, see Pasquinelli, Eye of the Master, 100-103.↩
34. Karl Marx, Grundrisse, trans. Martin Nicolaus (London: Penguin Books, ebook 2015). The italics are Marx's own; however, I would draw the reader's attention to what he says about the development of an "automaton" that would be self-moving, complete with both mechanical and intellectual organs, such that its mechanical laws become a kind of "soul." Wild, no?↩
35. Ibid.↩
36. Ibid.↩
37. Rick Moody, "Northern Wastes," Dædalus: Journal of the American Academy of Arts & Sciences 155, no. 4 (Fall 2026), forthcoming.↩
38. Karl Marx, Capital: A Critique of Political Economy, Volume One, trans. Ben Fowkes (New York: Penguin Books, 1976), 492-636.↩
39. Michel Foucault, The Order of Things: An Archaeology of the Human Sciences (New York: Routledge, 1970), 421-422.↩
40. Christopher O'Neill, "Foucault and Information Theory: On 'Message or Noise?' (1966)," Parrhesia: A Journal of Critical Philosophy 39, no. 1 (2024): 1–17. O'Neill deals with cybernetics and information theory in this essay, arguing that it provided Foucault with a provocative way of conceptualizing "informatisation for clinical practice, medical power, and the metaphysical status of the living (13)." It is part of an emerging body of scholarship dedicated to the early Foucault's interests in cybernetics and information theory. See also Alexander Soytek, "La réception de la théorie de l*'information et de la cybernétique par Michel Foucault, 1948–1969," in L'*archive Foucault à l'ère du numérique, 2022. My point regarding neurobiology is slightly different: it suggests that problems once taken up within the philosophy of consciousness now find their expression in cognitive science.↩
41. Michel Foucault, The Hermeneutics of the Subject: Lectures at the Collège de France, 1981-1982, ed., Frédéric Gros, trans. Graham Burchell (New York: Palgrave Macmillan, 2005),252. Foucault explains, "it seems to me that the analysis of governmentality–that is to say, of power as a set of reversible relationships–must refer to an ethics of the subject defined by the relationship of self to self. Quite simply, this means that in the type of analysis I have been trying to advance...you can see that power relations, governmentality, the government of the self and of others, and the relationship of self to self constitute a chain, a thread, and I think it is around these notions that we should be able to connect together the question of politics and the question of ethics."↩
42. Ibid.↩