为好奇心辩护：Neel Nanda 的实用可解释性之争与机制可解释性的三种视角

为好奇心辩护

在 NeurIPS 的机制可解释性研讨会上，有人请我就 Neel Nanda 最近关于“实用主义可解释性”的博客文章发表看法。我选择通过讲述威尼斯玻璃制造的故事来回应。

自罗马帝国以来，威尼斯一直是玻璃制造的历史中心，如今你仍然可以从穆拉诺岛买到精美的艺术玻璃。这幅版画描绘了 17 世纪威尼斯总督视察穆拉诺岛玻璃工坊的场景，你可以看到桌上摆放着一些艺术玻璃。我选择这个话题，是因为 17 世纪的穆拉诺岛正在经历一场变革，这让我非常强烈地联想到我们今天在机制可解释性领域所经历的时刻。

实用主义玻璃制造

如果你在 1600 年造访穆拉诺岛，你会到处看到“实用主义玻璃制造”。工匠们已经掌握了制造最精美无瑕的“cristallo”玻璃的秘诀，并且他们发现这种精细玻璃可以研磨成镜片。而且如果做得对，就能矫正模糊的视力。

谢天谢地有眼镜。

没有它们我几乎就是个盲人。

1600 年的穆拉诺岛是光学中心，工匠们制作并销售眼镜来帮助人们阅读。他们已将玻璃制造从艺术转变为应用，一种非常重要且改变生活的应用：修复视力，这对人类至关重要。眼镜的发明被认为是人类历史上最重要的发明之一，实际上让任何需要它的人的生产性工作寿命翻了一倍。

这就是实用科学的紧迫性，而在我们的领域，我们正在经历类似的事情。

三种视角

我把我们实验室的研究目标分为三类，每一类都围绕着一组不同的研究问题和动机。

第一是对抗性视角，这是三种视角中最“实用主义”的。

随着 AI 变得越来越复杂，模型的输出与模型的内部知识之间可能会出现差距。换句话说，“AI 说的”可能与“AI 内部所想的”不同。传统机器学习掌握的是输出，这是基准测试和评估的职责。但内部想法呢？那是可解释性研究者的专属领域。这里可解释性的目标是充当“测谎仪”来弥合这一差距，而随着实用主义转向，这类工作将会更多。

例如，参见 Marks et al. 2025 关于审计语言模型隐藏目标的研究，或 Rager et al. 2025 关于发现语言模型中禁忌话题的研究。我们还应该思考，仅仅存在审查或隐藏目标是否就等同于撒谎，因此对欺骗更基础性的审视将涉及追溯制造虚假信念的理性意图；例如，Prakash et al. 2025 所研究的心理理论背后的详细推理。

但我个人并不认为这种对抗性问题的关注是三种视角中最重要的。我认为最重要的是第二个领域。

第二是赋能视角。赋能问题问的是：在一个充满智能 AI 的世界里，人类的角色将是什么？人类还会知道和思考任何事情吗？我们还能理解这个世界吗？

简而言之，AI 的部署会让我们所有人都变蠢吗？

可解释性在机器学习中扮演着特殊的角色，因为它关注的不是让 AI 更聪明，而是提升人类的洞察力。我认为这是可解释性研究中最重要的一类，而我们在这方面做得还不够。

这里有很大的空间进行大量创新工作，从新的训练目标到新的用户交互模型，以扩展人类理解的边界。例如，有可能教会人类 AI 所学到的新事物，这些事物此前没有任何人类知道。Lisa Schut 的论文“Bridging the Human AI Knowledge Gap”并非来自我的实验室，但我认为它是一篇非常重要的论文。你应该读一读。

第三是科学视角，而这正是我在此要捍卫的。

科学视角之所以重要，是因为我们正处在一个哥白尼时刻。5000 年来，人们一直在问“思考意味着什么”，而答案始终将人类心智置于中心。人类一直是我们唯一的理性思考范例，而鲸鱼和章鱼等动物则处于边缘。人类比猴子聪明！所以“思考”一直等同于“做人”。

但有了 AI，这种观点正在改变，人类心智正在失去其中心特权地位。我们在这个领域的工作提出了关于机制与意义的根本性问题。参见 Meng et al. 2022 关于定位和编辑 GPT 中事实关联的研究、Todd et al. 2024 关于函数表征涌现的研究、Sen Sharma et al. 2025 关于谓词表征的研究，或 Feucht et al. 2025 关于语言无关意义表征涌现的研究，后者开始触及维特根斯坦提出的语言与意义之间鸿沟的问题。

哥白尼时刻

威尼斯玻璃工匠会理解。他们经历了最初的哥白尼时刻。

1608 年 10 月，荷兰米德尔堡镇一位名叫 Hans Lipperhey 的眼镜制造商为一台仪器申请了专利，“用于将远处的事物看得如同近在眼前”。据一个说法，他的灵感来自在他店里玩耍的孩子们注意到，透过两片镜片同时看远处的风向标时，它似乎近得多。通过将多片镜片组合在一根管子里，他制成了一台窥镜。窥镜不同于眼镜，因为它扩展了你的视野，使你能比正常看得更好、更远。它立刻取得了商业成功；这项发明的消息在几个月内传遍了欧洲。

但仅仅一年后，更大的事情发生了。

1609 年 6 月，在威尼斯，一位名叫伽利略·伽利莱的数学教授听说了“荷兰透视镜”。几天之内，他就造出了自己的，尽管从未见过一台。他是一位出色的实验家，通过研磨自己的穆拉诺玻璃镜片，他很快将放大倍数从三倍提高到二十倍。他在圣马可广场钟楼顶上向威尼斯参议院展示了他改进后的仪器，将其对准五十英里外的远处船只，使它们在肉眼可见的数小时前就变得又大又清晰。参议员们被其军事潜力所打动，将他的薪水翻倍。

但随后伽利略做了一件奇怪的事。

当时，没有实际理由把望远镜对准天空。没有务实的问题。那里地平线上没有船。

伽利略只是好奇。

他绝不可能想到自己会看到木星的卫星、月球环形山的阴影，或是土星那神秘的光环。

伽利略的好奇心是由那个时代重大的思想问题所塑造的。六十年前，哥白尼提出是地球绕太阳运行，而非相反，而伽利略和许多数学家一样，觉得这个想法极具说服力。然而大多数哲学家将日心说斥为纯粹的计算把戏，认为它违背经文和常识。凝视着木星的卫星，伽利略成为第一个目睹直接证据的人：不仅地球是另一颗行星，而且他如今能看到行星究竟是什么这一现实。他所看到的彻底改变了人类理解宇宙的方式。

追随你的好奇心

这就是我的信息。我们必须保持好奇。因为我们正身处一场哥白尼式的革命之中。

五千年来第一次，我们对理性思维的理解正在改变。亚里士多德曾提出，人类是唯一理性的生物；圣托马斯·阿奎那认为，正是我们的理性使人类具有独特的精神性；而笛卡尔那句著名的“我思故我在”，将理性与人格等同起来。

但如今我们创造出的思维装置推翻了这些古老哲学家的观点。人类心智不再如此稳固地处于宇宙的中心，因为我们的人工智能如今第一次为我们提供了智能的第二个例子。一个我们可以从远处观察，同时也能切开并拆解、检视每一次计算、每一个神经元、每一个学习瞬间的例子。

这场革命让我们面对许多根本性问题：什么是思考？什么是信念？什么是意义？什么是能动性？什么是意识？

即使没有实际理由去回答这些问题，我们也应当追随自己的好奇心。我们的哥白尼时刻开启了许多古老的前科学问题，而如今我们可以将它们变成科学问题。在追求实用的玻璃制造时，我们应当花点时间把镜片对准星空。我们应当记得问一问：思考，究竟意味着什么？

继续做有益的长期科学。

本文改编自 NeurIPS 2025 机制可解释性研讨会上的简短演讲。

由 David 发布于 2025年12月9日 下午01:08