探索大语言模型“灵魂”的工具：TinyGPT Visualizer

伍迪·艾伦曾讲过一个关于他大学生活的老笑话：“我因在大都会形而上学考试中作弊而被大学开除；我偷看了坐在我旁边那个男孩的灵魂。”如果伍迪·艾伦当年能通过那门课，他或许会走在时代前面。

如今，形而上学正成为一个热门话题，似乎每个人都迫切希望在大型语言模型（LLM）中寻找灵魂。去年四月，Anthropic 举办了一场会议，邀请宗教学者和哲学思想家讨论其最新 Claude 模型中的灵魂本质。看来他们需要 Dario Amodei 无法提供的指导。

现在似乎是深入探讨我们究竟如何窥视身旁 LLM 心智的合适时机。相关研究一直在大量进行；然而，这些基础模型公司本身，包括 Anthropic 和 OpenAI，却因将更多计算资金投入更好的模型而非安全研究而受到批评。机制可解释性——致力于探索这些模型内部运作的 AI 研究领域——已从 2021 年的少数研究者发展到数百名活跃贡献者。然而，尽管存在资金缺口和缺乏更大规模的研讨会，研究社区仍在提出一些有趣的见解和工具，以帮助进行这种“窥视”。

与其袖手旁观、琢磨这该如何实现，我觉得创建一个能让更多人加入这场派对的工具会很有意思。这就是“TinyGPT Visualizer”的开发由来。我对它的目标并不高。我想要一个能用来纵览该领域、并尝试实际技术以了解其工作原理的工具。作为一个视觉型的人，我开始设想一台 X 光机——一种能看进真实模型内部的设备。不是玩具模型。是真实的模型，但要小到能在屏幕上看到它所有运作的部件。

让我展示一下它是什么样子：

我们或许会好奇，意识究竟存在于构成模型的那些数值矩阵集合中的何处；数字就在那里，清晰可见。与人类大脑不同，我们可以在思维形成时停下来观察这些数字，而不必杀死病人；也不同于人类大脑，我们可以在这些数字中搜索模式和算法，以解释这些模型输出的规范散文、代码、音乐和视频。我们会找到规范的情感吗？如果会，它们就在数字之中。

哲学和宗教会帮助我们吗？迄今为止，这些学科不必依赖数字和计算，但也许它们现在有了新的领域可以探索。

TinyGPT Visualizer 是开源的。你可以在 GitHub 上找到代码、安装说明和文档：github.com/oshea00/tinygpt-viz。