论文提出空间记忆循环实现无界泛化

Yuhang He 与 Si Wu 提交的 arXiv 论文提出，LSTM 和 Transformer 在短序列上训练后无法处理更长序列，原因是它们读取的是位置、计数这类随输入增长不断取新值的坐标；而只读取“两事物是否相同”这类“巧合”的学习者，其规则在任意长度上保持有限。 论文称，在最长 40 个符号的字符串上训练后，该机器在 15 项基准任务中的 9 项上，对长度 41 至 500 的序列平均正确率至少 99%，其中 5 项任务没有 LSTM 或 Transformer 能解出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。