arXiv cs.AI· Asher Labovich·· 11 小时前AI 评分34
循环 Transformer 的稳定性与泛化：基于不动点的分析框架
Stability and Generalization in Looped Transformers
AI 导读
研究者提出基于不动点的框架，从局部吸引性、输入依赖性和几何三个维度分析循环 Transformer 架构的稳定性，并刻画不动点迭代何时产生有意义的预测。理论证明无 recall 的循环网络不动点可数且无法实现强输入依赖性，而带外部归一化的 recall 可同时获得局部吸引、输入局部平滑与稳定反向传播。
正文 · AI 翻译
摘要：循环 Transformer 有望通过在更难的问题上投入更多迭代来实现测试时计算扩展，但目前尚不清楚哪些架构选择能让它们在测试时外推到更难的问题，而不是记住训练特定的解。我们引入一个基于不动点的框架，从稳定性的三个维度——局部吸引性、输入依赖性和几何——来分析循环架构，并用它来刻画不动点迭代何时产生有意义的预测。在理论上，我们证明没有 recall 的循环网络具有可数不动点，且在任何谱区间都无法实现强输入依赖性；而带有外部归一化的 recall 能可靠地产生一个区间，其中不动点同时具有局部吸引性、对输入局部平滑，并得到稳定反向传播的支持。在实验上，我们在国际象棋、数独和前缀和任务上训练小型循环 Transformer，发现下游性能在各项任务和架构配置上都与框架的预测相符。我们还引入了内部 recall，一种允许恒等残差路径的新颖 recall 放置变体，并利用其对比鲜明的不动点行为在受控环境中检验我们框架的预测。
| 评论： | 正文 10 页，总计 30 页。已被 NeurIPS 2026 主赛道接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.15259 [cs.LG] |
| （或 arXiv:2604.15259v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.15259 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Asher Labovich [查看邮箱]
[v1]
2026 年 4 月 16 日星期四 17:35:49 UTC（445 KB）
[v2]
2026 年 4 月 22 日星期三 15:48:32 UTC（445 KB）
[v3]
2026 年 11 月 4 日星期三 22:02:46 UTC（388 KB）
来源：arXiv cs.AI · arxiv.org