arXiv cs.AI· Marco Giunti, Fabrizia Giulia Garavaglia·· 13 小时前AI 评分18
从 Transformer 到协调变换的形式语义
From the Transformer to a Formal Semantics of Coordinated Transformations
AI 导读
研究者为参数化变换的协调系统建立了一套形式语义，以 Transformer 为典型起点但抽象掉其具体数学实现。该框架引入“变换概念”，将参数化变换的数值作用与属性层面的映射相协调，并区分系统的代数-语义共核与架构特有的功能组织。框架已应用于注意力头和残差连接，给出仅依赖共核与局部功能组织的语义解释，可推广到标准 Transformer 之外。
正文 · AI 翻译
摘要：我们为一类通用的参数化变换协调系统建立了形式语义，以 Transformer 作为典型出发点，但抽象掉其具体的数学实例化。表示向量同时获得外延指称和有序内涵解释，而参数结构则获得相对的、第二层次的解释，这些解释决定了参数属性如何被保留、替换或组合。由此产生了变换概念这一概念：一种参数化变换，其数值作用与相应的属性层面映射相协调。然后，我们将这些系统共同的代数-语义核心与其特定于架构的功能组织区分开来，从而允许同一抽象系统类型的不同数学实例化和机械实现。该框架被应用于注意力头和残差连接，提供了仅依赖于共享代数-语义核心及其局部功能组织的语义解释，因此可推广到标准 Transformer 之外。这些分析还揭示了该框架的模块性：复杂架构可以分解为更简单的语义协调子系统，其组织可能在不同抽象系统类型中重复出现。
| 评论： | v1：28 页，9 节，本版本纳入了第一轮同行评审后所做的修订 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机科学中的逻辑（cs.LO） |
| 引用为： | arXiv:2610.39735 [cs.AI] |
| （或 arXiv:2610.39735v1 [cs.AI] 用于本版本） | |
| https://doi.org/10.48550/arXiv.2610.39735 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Marco Giunti [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 10:00:08 UTC（31 KB）
来源：arXiv cs.AI · arxiv.org