arXiv cs.AI· Yijia Jessica Zhu, David Chiang·· 10 天前AI 评分22
Transformer 的精确解体积与长度泛化研究
Exact-Solution Volume and Length Generalization in Transformers
AI 导读
研究者提出归一化精确解体积（NESV）指标，衡量固定宽度单层 Transformer 在长度 n 输入上取得精确解的参数区域占比，并给出 FIRST（Θ(1)）、MAJORITY（Θ(1/(n log n))）、INDEX（Θ(1/n³)）和 PARITY（0）四个任务的渐近界。
正文 · AI 翻译
摘要：关于 transformer 表达力的研究表明了 transformer 是否有能力解决给定任务，但几乎无法说明所学习到的解是否能泛化到更长的输入长度。我们通过归一化精确解体积（NESV）来研究这一问题：在有界参数区域中，对所有长度为 $n$ 的输入都能获得精确解的参数所占比例。对于采用 $\log n$ 缩放注意力的固定宽度单层 transformer，我们为四项任务建立了 NESV 的渐近界：FIRST（$\Theta(1)$）、MAJORITY（$\Theta(1/(n\log n))$）、INDEX（$\Theta(1/n^3)$）和 PARITY（$0$）。这些结果与先前的实证结果一致：精确解体积随输入长度衰减得越快，该任务就越难实现长度泛化。进一步深入分析 INDEX，我们的体积分析揭示了两个随 $n$ 增长的误差来源。因此，我们研究了一种 transformer 模型，该模型在结构上可以消除其中一项，理论上将 NESV 界改进为 $\Theta(n^{-1})$，并在 $10\times$ 训练长度下测试时实证达到 85% 的准确率，而原始模型的准确率为 60%。我们得出结论：体积分析可能是识别长度敏感性具体来源的一种有用方法，从而为任务特定的模型改进提供洞见。
| 评论： | 26 页，2 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07676 [cs.LG] |
| （或 arXiv:2610.07676v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07676 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yijia Jessica Zhu [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 03:11:14 UTC（108 KB）
来源：arXiv cs.AI · arxiv.org