arXiv cs.AI· Pengxiang Li, Dilxat Muhtar, Di He, Guinan Su, Lu Yin, Shiwei Liu·· 9 天前AI 评分34
InfiLoop：用循环原生注意力残差将测试时迭代扩展至数万次
Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals
AI 导读
研究者提出循环原生残差连接 InfiLoop，通过内容加权与可学习时间衰减维护循环状态的持续摘要，并用精确流式递归使聚合内存在迭代增长时保持恒定。
正文 · AI 翻译
摘要：在本文中，我们认为循环 Transformer 需要自己的残差连接，以防止随着迭代次数增加而出现性能下降。我们观察到，增加循环迭代次数会降低推理准确率：带噪声的状态更新会覆盖正确的中间推导，甚至撤销已完成的解答。这使得后续迭代只能从已经退化的表示中恢复丢失的信息：一旦在较早的循环中出现错误——这通常是通过递归进行长距离传播的结果——后续循环就很难纠正。在本文中，我们提出了 InfiLoop，一种循环原生残差连接，它学习保留哪些过去的计算，以及从每次新更新中接受多少。InfiLoop 将基于内容的加权与学习到的时间衰减相结合，以维护循环状态的运行摘要。精确的流式递归使其持久聚合内存在循环次数增长时保持恒定。由此产生的自适应更新会抑制不可靠的提议，并保留有用的中间状态。在大量推理任务中，一个 7M 参数的 InfiLoop 模型优于现有的递归架构，在 Sudoku-Extreme 上达到 97.9% 的精确准确率，在 ARC-AGI-2 上达到 13.6% 的 pass@2。值得注意的是，在 Sudoku-Extreme 上，InfiLoop 在测试时循环超过 20,000 个有效步骤后仍持续改进，表明增加的深度可直接转化为更强的推理能力。我们的代码可在 this https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11570 [cs.AI] |
| （或 arXiv:2610.11570v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11570 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pengxiang Li [查看电子邮件]
[v1]
2026年10月8日星期四 09:26:21 UTC（207 KB）
来源：arXiv cs.AI · arxiv.org