arXiv cs.AI· Yuhang He, Si Wu·· 11 小时前AI 评分52
有限大脑如何无界泛化：空间记忆作为通用计算机
How Finite Brains Generalize Without Bound: Spatial Memory as a Universal Computer
AI 导读
arXiv 论文《How Finite Brains Generalize Without Bound》提出，LSTM 和 Transformer 在短序列上训练后无法处理更长序列，原因在于它们读取的是位置、计数这类随输入增长不断取新值的坐标；而只读取“巧合”（两事物是否相同）的学习者，其规则在任意长度上保持有限。
正文 · AI 翻译
摘要：一个学会做小数加法的孩子能做任意长度的数字加法。在短序列上训练的 LSTM 和 Transformer 在较长的序列上会失败。我们将这一差异追溯到学习者在做决定时所读取的内容。位置、计数或时间会随着输入的增长而不断取新值：它是一个坐标，而读取坐标的学习者在每个长输入中都会遇到其经验从未覆盖过的值。两件事是否相同在每个规模下都有同样的两种答案：它是一种巧合，而只读取巧合的学习者在长输入中找不到任何短输入所缺少的东西，因此有限的经验就为每个规模确定了它的规则。记忆携带输入的规模，而规则保持有限，这决定了一个能泛化的大脑可以拥有什么样的记忆：一个在增长、而学习者从中读取到的内容保持有限的记忆，从每个位置看都必须是一样的，因此它由循环构成，而过去是通过询问当这些循环上一次处于它们现在所在的位置时发生了什么来触及的。这些循环就是网格模块，检测它们回归的细胞就是位置细胞，记录就是海马索引；一个前额叶控制器移动这些循环，却从不看见它们。只读取巧合不付出任何代价：在这样的学习者的有限经验所确定的东西，正是图灵机随其输入逐步计算的东西，这就是为什么一个为找到回家之路而演化出的电路能够学会算术和语法。在神经元网络中，这台循环机器就是通过其对称性所看到的动力学，而符号就是它的不变量。在最多 40 个符号的字符串上训练后，这台机器在十五个基准任务中的九个上，在长度 41 到 500 的平均值上至少 99% 正确，其中五个任务是任何 LSTM 或 Transformer 都无法解决的；在训练后给予新的循环，它能无误差地反转 15,015 个符号的字符串，并在超出该长度后按理论预测的曲线失败；而它的控制器在神经元上原样运行。
| 评论： | 57 页，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07920 [cs.AI] |
| （或 arXiv:2611.07920v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07920 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhang He [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 12:30:06 UTC（741 KB）
来源：arXiv cs.AI · arxiv.org