arXiv cs.AI· Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi·· 2 天前AI 评分22
通过可学习随机停止稳定 Looped Transformer 的外推能力
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
AI 导读
Looped Transformer 在训练序列长度之外进行外推时方差较高，研究将其归因于序列长度与循环次数之间的伪相关。训练时引入随机循环次数可显著降低 OOD 方差，而 RL-Halting 作为可学习随机调度通常能改善准确率与稳定性的权衡。在二元加法、Dyck-1、Unique Set 和 Copy 任务上，学习式随机停止有时也会稳定次优计算，表明"何时停止"应作为训练时设计选择。
正文 · AI 翻译
摘要：循环 Transformer 会重复应用一个共享的 transformer 块，在架构上天然适合可变长度的算法任务。尽管它们能在超出训练序列长度时展现出很强的长度泛化能力，但这种行为很脆弱，会产生较高的分布外（OOD）方差，即使是在表现良好的分布内解之间也是如此。我们将这种方差追溯到简单算法任务中序列长度与循环次数之间的伪相关。在训练期间向循环次数引入随机性，可显著降低 OOD 方差，并在不同推理时循环次数下稳定预测。为了改进启发式随机化方案，我们进一步将 RL-Halting 作为一种学习到的随机调度进行分析，发现它总体上改善了准确率与稳定性之间的权衡。在二进制加法、Dyck-1、Unique Set 和 Copy 上，学习到的随机停止通常能改善这种权衡，但也可能稳定一个次优计算。我们的工作表明，“何时停止”应被视为训练时的设计选择，而不仅仅是推理时的计算分配规则。
| 评论： | 发表于 NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.29983 [cs.LG] |
| （或 arXiv:2606.29983v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.29983 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Hsun-Yu Kuo [查看电子邮件]
[v1]
2026年6月29日星期一 08:58:09 UTC（677 KB）
[v2]
2026年10月14日星期三 21:15:48 UTC（683 KB）
来源：arXiv cs.AI · arxiv.org