用拓扑斯理论设计生成式 AI 与 LLM 新架构

查看 PDF HTML（实验性）

摘要：我们提出使用拓扑斯理论（topos theory）设计新型范畴生成式人工智能架构（GAIAs），拓扑斯是一种“类集合”的范畴：拓扑斯具有所有（余）极限，是笛卡尔闭的，并且具有子对象分类器。此前关于 Transformer 模型的理论结果表明，它是一个通用的序列到序列函数逼近器，并且在 token 嵌入的欧几里得空间上所有具有紧支集的连续函数空间中稠密。基于这一理论结果，我们探索了 LLM 的新架构，利用将 LLM 视为函数所形成的范畴构成一个拓扑斯这一性质。此前关于大语言模型（LLM）的研究主要集中于菊花链式线性架构或专家混合。在本文中，我们使用范畴论中的泛构造，基于新型复合结构来构建新的 LLM 架构。特别地，这些新的复合结构源自 LLM 范畴的泛性质，包括拉回、推出、（余）等化子、指数对象和子对象分类器。我们通过证明 LLM 范畴是（余）完备的，即所有图表都以（余）极限的形式有解，从理论上验证了这些新的复合结构。基于这一完备性结果，我们随后证明 LLM 范畴构成一个拓扑斯，即一个“类集合”范畴，这需要证明指数对象以及子对象分类器的存在。我们使用反向传播的函子式刻画来定义 LLM 拓扑斯架构的一种潜在实现。

提交历史

来自：Sridhar Mahadevan [查看电子邮件]
[v1] 2025 年 8 月 5 日星期二 20:00:06 UTC（165 KB）