arXiv cs.MA· Sergey Salishev, Zeev Volkovich, Oleg Granichin·· 12 小时前AI 评分31
Transformer 可精确编译为通用深度神经网络：去除激活-激活乘积的代价与多智能体注意力聚类
Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering
AI 导读
研究证明每个含 attention、LayerNorm 和 GELU MLP 的 Transformer 块都能精确编译为由固定仿射映射、路由及 square、sigmoid、逆平方根等算子构成的通用深度神经网络。
正文 · AI 翻译
摘要：Transformer 被部署为一种特殊的模型类别。神经处理单元（NPU）为注意力和归一化增加了专用算子，量化则依赖 Transformer 专用的算法。我们证明计算本身并不强制如此。每个 Transformer 块（包含注意力、LayerNorm 和 GELU MLP）都能精确编译为一个通用深度神经网络，该网络由固定的仿射映射、路由以及平方、sigmoid 和平方根倒数，再加上 GELU 或其 sigmoid 近似构成。在没有激活-激活乘积的情况下，对于稠密分数，每一种按变换编译的方式都会为每个头增加至少 $N^2$ 次标量非线性求值。保留这一种运算类型即可消除该开销；其逐元素形式存在于所有调研过的 NPU 上，配合 sigmoid 和平方根倒数便已足够。对于尾部分数可交换的 top-$k$ 注意力，我们证明精确或条件均值的尾部质量能给出注意力分布的无偏、最小均方误差估计，而尾部丢弃则是有条件偏置的。当查询或智能体聚类时，质心先选择键，从而将每个头计算的分数数量从 $N^2$ 降至 $Nk$。在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上，编译后的模型在使用全部键时与其参考模型一致，标准的训练后量化适用，并且精确的尾部质量估计在 DeiT-Tiny 上以及 Pythia-70M 上当 $k\le8$ 时，以一半的键数优于尾部丢弃。
| 评论： | 正文 36 页、6 张表和 2 幅图，补充材料 8 张表。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.28958 [cs.LG] |
| （或 arXiv:2610.28958v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28958 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sergey Salishev [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 22:16:57 UTC（48 KB）
来源：arXiv cs.MA · arxiv.org