arXiv cs.CL· Awni Altabaa, Tobias Schnabel, Kiran Tomlinson·· 11 小时前AI 评分31
把 Transformer 理论放到实验里检验：七种理论都无法单独解释模型行为
Putting Transformer Theories to the Test
AI 导读
研究将 Star-free、AC⁰、TC⁰、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论映射到统一的任务预测矩阵，并用分布内样本复杂度、长度泛化和预训练语言模型表现做受控实验验证。
正文 · AI 翻译
摘要：目前已发展出若干形式化理论来刻画 transformer 架构的能力与局限，每种理论采用不同的抽象，捕捉该架构的不同特征。由于各自的基本假设与概念框架不同，这些理论在预测 transformer 认为哪些任务容易或困难时可能相互矛盾。我们梳理了七种关于 transformer 能力的理论（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO 和 Sensitivity），并将其结果转化为一个统一的预测矩阵，覆盖具有不同计算结构的一系列任务。我们提供了新的理论结果以补全该矩阵。随后，我们通过受控实验评估理论预测，测量分布内样本复杂度、长度泛化和预训练语言模型性能。我们发现，没有任何单一理论能解释观察到的成功与失败模式。当某一理论未能捕捉到与任务相关的 transformer 行为时，其预测就会失效；例如，我们表明 $k$-hop 归纳任务被 C-RASP 预测为困难，因为它没有建模内容依赖的注意力，但我们在此任务上训练的小型 transformer 能够实现长度泛化。类似地，假设硬注意力的理论（如 $\mathsf{AC}^0$ 和 BAPO）预测二元多数任务困难，而我们在实践中也发现了成功。总之，我们的结果指向 transformer 理论必须捕捉的几个具体特征：软注意力而非硬注意力、动态的内容依赖检索、每个位置的有界计算、对可学习性和归纳偏置的说明，以及上界与下界的结合。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32104 [cs.LG] |
| （或 arXiv:2610.32104v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32104 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Awni Altabaa [查看邮箱]
[v1]
2026年10月23日星期五 03:07:37 UTC（548 KB）
来源：arXiv cs.CL · arxiv.org