arXiv cs.CL· Marius Henry, Michael Rizvi-Martel, Michael Hahn·· 12 小时前AI 评分29
多层 Transformer 的定量泛化边界：少量长字符串可胜过大量短字符串
Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones
AI 导读
研究对固定精度 Transformer 的分布内统计泛化与长度泛化做了联合分析，给出以模型参数量、量化空间和序列字母表大小为变量的泛化保证。理论显示增加训练长度可比增加样本量高效指数倍，实验支持该预测。
正文 · AI 翻译
摘要：基于 Transformer 的语言模型展现出惊人的能力，能够泛化到比训练中所见更长、更难的问题实例。然而，对这一现象的理论理解仍然滞后。与大多数机器学习模型不同，Transformer 的泛化能力本质上需要考虑两个维度。一方面，必须考察分布内统计泛化，即模型将函数从训练样本推广到同一分布的新样本的能力。另一方面，鉴于语言数据的序列性质，还必须考虑长度泛化，它反映的是在给定长度输入上训练的模型能否外推到更长的 this http URL。这两个概念大多被分别研究，它们如何相互作用仍悬而未决。在本工作中，我们对固定精度 Transformer 的两个维度进行了联合处理。我们给出了涉及模型参数规模、以及提供序列的量化空间和字母表大小方面的泛化保证。最后，我们说明了样本数量和训练长度方面的要求如何权衡。特别地，我们发现增加训练长度可以比增加样本数量高效指数倍。实验支持了理论的预测。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35715 [cs.LG] |
| （或 arXiv:2610.35715v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35715 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marius Henry [查看电子邮件]
[v1]
2026年10月26日星期一 16:36:27 UTC（871 KB）
来源：arXiv cs.CL · arxiv.org