arXiv cs.AI· Luis F. Rosario Freytes·· 3 天前AI 评分15
PreNorm Transformer 中训练依赖的计算语义：架构先于公式
Architecture Before the Formula: Training-Dependent Computational Semantics in Transformers
AI 导读
研究提出"深度学习外在论"（DLE），认为运算的计算角色不仅取决于其输入输出函数，还取决于产生输入和接收输出的过程。作者在维度标记的 PreNorm Transformer 中证明，两个单射生产者上下文可保留全部前驱区分却改变固定局部与注意力接收器族是否等价，并推导出梯度下降下协方差相关的几何衰减与 Q/K-softmax 训练下的 $(t^{-1/2})$ 衰减。
正文 · AI 翻译
摘要：一个运算的输入-输出函数本身并不能决定其在被表示过程中的计算角色。该角色还取决于产生其输入和接收其输出的过程，这一哲学立场被称为深度学习外在论（DLE）。我们发展了一种关于被表示计算的数学解释，区分了功能等价、保留的前驱区分、受限的接收者能力以及上下文相关的有效架构。由此产生的等价性取决于科学描述必须保留哪些计算关系。我们证明，两个单射产生者上下文可以保留每一个前驱区分，同时改变固定的局部和注意力接收者族是否等价。
我们在一个维度标记的 PreNorm Transformer 中研究这些关系及其在训练下的演化。残差旁路将完整状态信息识别限制为每个块两次合并，而更细的分支可以改变接收者可访问性。精确的梯度下降模型在学习到的产生者路由下产生依赖于协方差的几何衰减，并在 Q/K-softmax 训练下产生代数 $(t^{-1/2})$ 衰减，两种情况下的最优有界接收者恢复误差均被推导出来。耦合的产生者-注意力动力学确立了学习如何联合重组所呈现的特征和接收者分配。最后，当前的功能等价或接收者轮廓等价不必决定优化器下的未来行为。在一个输入条件化的注意力模型中，两个可访问性测量构成一个精确的简化预测状态，而单独一个则不能。
| 评论： | 117 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.11618 [cs.LG] |
| （或 arXiv:2601.11618v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.11618 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Luis Rosario Freytes [查看电子邮件]
[v1]
2026 年 1 月 10 日星期六 13:43:01 UTC（62 KB）
[v2]
2026 年 7 月 22 日星期三 02:16:17 UTC（1 KB）（已撤回）
[v3]
2026 年 8 月 12 日星期三 21:16:43 UTC（32 KB）
[v4]
2026 年 10 月 11 日星期日 01:55:01 UTC（373 KB）
来源：arXiv cs.AI · arxiv.org