MIT 媒体艺术与科学教授 Deb Roy 谈 AI 生成文本背后的问责问题

当政府官员制定政策时，通常会有公众反馈的评论期。立法者长期以来不得不筛选那些为了影响政策而批量生产的虚假反馈，但他们通常已经习惯了识别这些内容。然而，有了人工智能，人们可以提交看起来逼真的评论，这些评论更难被当作没有真实个人在背后的捏造而驳回。这只是AI在公民对话中生成文本和声明的一种方式，而对此无人可以被追究责任。

这个问题，连同其他问题，引起了Deb Roy的注意，他是麻省理工学院媒体艺术与科学教授，也是麻省理工学院建设性传播中心（CCC）的主任。在《原子科学家公报》上发表的一篇题为“谁站在文字背后？”的新文章中，Roy呼吁重新强调传播中的责任，断言即使使用AI来撰写文本，也需要有问责制和“可答性”。

建立更好的群体对话以产生更多公众信任是CCC工作的核心部分。该中心与Cortico——Roy共同创立的紧密关联的非营利组织——一起，在许多情况下帮助促进了关于重要问题的群体讨论——包括公民会议、学校、协商会议和私人组织——并使用包括AI在内的技术工具来帮助发现评论中的主题等。但该中心还设计了这个过程，以便参与者可以在每个关键步骤检查和覆盖基于技术的输出。最终，每个人对每条公开评论负责。MIT News与Roy谈论了这篇文章和该中心的工作。

问：你已经指出了AI生成的文字背后缺乏问责制的问题。你第一次真正注意到这个问题是什么时候？

答：当Chat-GPT[由大型语言模型或LLM驱动]推出时，这个问题变得突出。至于我自己与语言模型的历史，我的博士工作探索了我们现在可能称之为PLM——微小语言模型——的东西，所以我对语言模型相当熟悉，并跟踪了该领域的快速发展。但Chat-GPT转了一个弯。两件事同时发生了变化：模型的深度及其知识，以及你与它互动的方式。

我痴迷于试图找到它能做什么的极限。我觉得无论我多么努力地伸展双臂去拥抱它，我都做不到。我在麻省理工学院的终身教职案例建立在语言接地——即AI系统仅仅处理大量词语和其他符号是不够的——的理念上。我相信要理解词语的含义，你实际上需要一个物理身体和生活经历作为过程的一部分。所以我重新审视了我曾经沉浸其中的AI哲学文献，这些文献问的是，大型语言模型以极其先进的形式所例证的那种系统，与人类所从事的那种处理，根本区别是什么。我给我的研究生做了几次演讲，试图论证即使AI看起来如此智能，它实际上在种类上是不同的——但我无法说服他们。

然后我想，我知道区别所在，但我连自己都说服不了这区别究竟是什么。这让我不禁发问：“等等：有没有某个人或某种东西站在这些文字背后，为所说的话负责？”这正是这台非凡的新语言机器所没有的。

这些系统是否真正理解语言，目前仍有激烈争论。但即便你赋予它们任意程度的理解力，它们依然缺乏“立场”。责任不能止于一个毫无可失之物、一个软件系统。

问：《公报》那篇文章里有一些有趣的例子，涉及公民反馈论坛——看起来像是真人在发言，结果却是一大堆来自 AI 的评论。你是怎么在社会中找到这些其他例子的，即事情以这种方式失控的情况？

答： ChatGPT 发布后，我开始听到政府内部负责审查拟议规则公众评论的人表达一种担忧：怀疑并非所有评论都是人写的。

我的反应是：这会削弱这一公众反馈渠道的合法性。那是几年前的事了，但现在人人都知道这种情况正在发生。公众评论是民主的支柱。你不能只是把一条新规则强加下去。在规则施加于人们之前，人们需要发出声音，并感到自己被倾听了。如果你跳过这一步，人们就不会接受规则的合法性。这就是为什么这一程序深深植根于美国的运作方式之中。而这根支柱刚刚出现了裂缝，而在我看来，如今它已经倒塌了。有人注意到了吗？我的感觉是，收到这些评论的人已经悄悄调整了他们赋予公众评论的权重。它从来都不完美，但天哪，如今它的许多价值正在被一扫而空。

我在文章开头举了这个例子：2017 年，美国联邦通信委员会就其废除网络中立规则的提案收到了超过 2200 万条公众评论，而纽约州总检察长后来发现其中近 1800 万条是假的。正如我在文章中所写：“那场欺诈之所以被抓住，是因为它留下了指纹：模板化的文本、重复的措辞。”但大语言模型抹去了指纹。如今每条评论都可以流畅而各不相同，审查者再也无法分辨哪些表达的是真实的人所形成并为之负责的观点。

如果你有足够多的假东西——没有任何利害相关者真正为之负责的文字——它就会让你对真实的东西变得麻木。这会反过来影响公众，人们会意识到：如果我花时间表达自己，他们根本不再听了。

问：你能再多谈谈你的观点吗——我们需要有“立场”的人，为所有文本片段承担“责任”，即便这些文本片段是由 AI 生成的？

A：在法律体系中，诉讼资格是一个正式概念：有时案件不被审理，是因为提起诉讼的人不具备诉讼资格。但在非正式场合，我们一直在使用这个词。我并不想把日常生活中的诉讼资格正式化。相反，我想问的是：从法律术语中借来的这个词的非正式含义是什么，是我们现在需要更加关注的？在新英格兰这里，想想开放式镇民会议：站起来发言的人通常被期望具备资格，即作为来自该镇、对决定结果有切身利益的人。如果是一个从州内其他地方或州外开车来的陌生人，大家都会想：等等，那是谁？他们不是本地人。总的来说，出现在你实际上没有资格的地方，摩擦足够大、代价足够高，所以这种事不常发生。

现在，LLM和当前的数字网络环境打破了这些边界。我们一直想当然地认为，如果某人有发言权，那是因为他们有资格。他们有某种被倾听的依据。我们需要关注这一点，并真正考虑如何设计系统，让有资格的人成为被倾听的人。

我试图发展的另一个概念是“可问责性”。它在法律中没有正式化，但已融入法律程序。如果你有作证的资格，你就在那里，准备好接受交叉询问。你必须能够为你所说的话负责。如果你对某人提出具体指控，你必须愿意用事实来支持它。资格和可问责性必须同行：被倾听的权利伴随着为你所说的话负责的义务。

这并不意味着每个人都必须在所有事情上署名。我在Bulletin的文章中写道：“隐私和可问责性并非对立。……一个机构可以验证一个人的身份并为其言论背书，而不暴露他们。”要表达一种观点，你只需要表明一个明确的、合格的人正在发言。指控则要求更多：像记者这样受信任的人，必须能够知道是谁在说话。正如我所说：“披露义务应随权力而扩大，身份保护应随脆弱性而增强。”

这并不意味着AI不能帮忙。AI可以在问责链条内部做很多工作——起草、总结、发现模式。如果对某项规则有切身利益的人使用AI起草评论，将其采纳为自己的，并准备好为此负责，那么在这种情况下，这是合法的。AI不能做的是锚定链条。最终必须有一个为这些话背书的人。

在文章中，我列出了将其内置的四个设计原则：“可归属的作者身份”、“分解且可检查的过程”、使用“来源作为基础设施”，以及“扩大资格而非集中资格”的必要性。正如我所写，“核心规则是允许自主，但不允许不可问责。”最重要的指标不是通过移除人类获得的效率，而是AI将多少人置于能够为其行为负责的角色中。

Q：建设性传播中心的文件中有一句话，说我们需要事情以“信任的速度”推进，而不是“技术的速度”。这意味着真正思考如何构建这些系统。你能再多说说这句话对你意味着什么吗？

A：我是在威斯康星州阿普尔顿学到这句话的，当时我和（威斯康星大学的）凯瑟琳·克莱默——一位长期合作者——在一起，与当地正在组织“跨越分歧的对话”的社区组织者交流。他们有数百人参与。我以为我开发的技术工具正是为了同样的目的，看到这个场景非常兴奋。我问组织者之一：“你们多快实现了规模化？”他停顿了一下，然后说：“以信任的速度。”

我起初把这理解为“慢”。后来我意识到他是在说：对你来说慢，因为你还没有赢得我们的信任。此后我学到，当你真正拥有信任时，事情可以进展得很快。所以引入技术实际上是一个参与的过程。说“相信我们，我们这样做是因为我们认为这对你有好处”是行不通的。人们会转向他们已经信任的人，问：“这对我们好吗？”如果那个人说“好”，事情就能快速推进。

看看AI与社会交汇处正在发生什么：AI的速度和民主的速度运行在不同的时钟上。与从事民主实践的人交谈，他们会说：“AI必须慢下来，因为民主无法那么快。”与AI领域的人交谈，他们会说：“AI不能慢下来，民主需要加速。”如果我们不能让这两个时间尺度同步，我们就会走向一种失控局面，AI的部署速度快于民主进程的响应速度，决策在没有公众参与的情况下做出。这种情况现在已经开始发生。

Q：我们需要人们积极行动来建立对话，并弄清楚技术工具如何与之互动。在建设性传播中心，你们已经对中心的Real Talk倡议进行了几轮迭代，以建立公民对话，还在学校环境中开展了Youth Voices倡议，目前你们正在推进New Social Forms项目。能否简要谈谈这些？

A：Real Talk努力代表了这项工作中最长久的一条线索。我们工作的一个重点一直是开发更好的相互倾听方式。我们创造的环境总是小规模的——在这里小即是美——让人们愿意真诚分享。我们有同意架构和技术来揭示更大的模式，然后分享它们。我们已在全国数百个社区这样做过。在更近的地方，我们通过realtalk@MIT项目将同样的方法带到了MIT校园，得到了校长办公室和教务长办公室的支持，帮助我们的社区建立围绕对话和倾听的文化。

我想强调的第二点是，我们在协商过程和公民大会方面做了越来越多的工作，以及如何让它们更易于参与。如果一群高中生说：“我们的手机政策有真正的问题？”假设你想召开一次大会，把学生、教师和管理人员聚在一起，不仅倾听人们的关切，还要提出政策建议。我们就这样做了。中心与纽约市的一所高中合作，技术帮助人们揭示他们的偏好和分歧，并相互倾听。

我们还将可问责性融入这项技术。我们小组的博士生 Cassandra Overney 开发了一个名为 VoiceTrace 的原型，它将每一条输出陈述——无论是倾听过程中所听到内容的摘要，还是审议中产生的建议——与其背后的具体声音关联起来，因此任何主张都可以追溯到它源自的对话。

New Social Forms 项目关注的是世界各地工作场所中正在出现的一种非常有趣的现象，当然也包括我们与之有联系的那些工作场所。AI 是赋能个人的非凡工具，但用我们在 Google Experience Institute 的一位合作者的话说，人们正在“挖隧道”。他们深入其中，利用 AI 发展出精细的想法，但当他们浮出水面时，他们的想法已经与队友的想法产生了分歧。因此，试图与 AI 协同工作的群体和团队面临着一个人类协调问题。

我们将扩大与 Google 已经开始的初步工作，因为人们对集体沟通、信任以及试图合作的人之间的互动有着浓厚的兴趣。

那么这是一种公民语境吗？它是一个工作场所，但工作场所也是公民空间。它们支配着人们的日常生活，是我们许多人培养公民技能、学习跨越差异进行合作的地方，而且公民生活根植于共同工作有着悠久的传统。我们都是试图彼此互动的人类。这些是同样的问题。Louis Brandeis 大法官曾用“工业民主”一词来概括这一点。当工作场所缺乏某些类型的公民程序和文明——这两个词有着有趣的关联——劳资纠纷过去常常演变为暴力。程序正义、调解者以及人们倾听彼此，在工作场所同样必要。归根结底，一切都关乎人。倾听彼此身上的人性，是民主所依赖的，对于社区和组织的运转也同样必要。