arXiv cs.CL· Anxin Guo, Tianlong Huang, Chenxiao Yang, Zhiyuan Li·· 12 小时前AI 评分31
复制任务中的重复串难题：从前缀匹配到位置哈希
Copying Under Repetition: From Prefix Matching to Position Hashing
AI 导读
研究者提出用 RoPE 风格的注意力值与输出旋转（VO-rotations）配合小素数周期编码分隔符锚点距离，借助中国剩余定理区分所有所需距离，使两层 transformer 在 O(log log N) 位精度下正确复制并终止任意重复字符串。
正文 · AI 翻译
摘要：前沿 LLM 几乎可以完美复制随机文本，但它们常常在长串重复字符上出现越界或截断。在重复字符串中，匹配局部内容已无法可靠地判断复制应在何处继续或何时停止。尽管如此，我们证明一个具有 $O(\log\log N)$ 位精度和 $O(\log N/\log\log N)$ 宽度的两层 transformer 可以复制长度不超过选定设计视界 $N$ 的任意字符串，并在任意重复下正确终止。我们使用注意力值和输出的 RoPE 式旋转（VO 旋转），并采用小素数周期，以对这些素数取模来编码与分隔符锚点的距离。根据中国剩余定理，这些周期性编码共同区分所有所需距离，使一条检索规则能够选择下一个源 token 或结束标记。相比之下，我们证明了在顺序有限精度 softmax 累加下复制的一个与宽度无关的不可能性结果。它适用于仅以加性注意力偏置作为位置输入的 transformer，该偏置最终会变为常数，包括 NoPE 和 ALiBi 的递归实现。一旦相同 token 连续段超过由此产生的饱和阈值，进一步的重复便不再改变 logits。如果该阈值随 $N$ 亚线性增长，这些模型便无法既完成长全相同复制又正确停止，这一模式类似于前沿 LLM 的终止错误。在合成复制实验中，基线 transformer 模型即使在训练范围内也会在长重复字符串上失败。相比之下，训练后的 VO 模型能够泛化到训练长度之外，在长度约 $\approx5005$（所选素数的周期乘积）以内达到近乎完美的准确率。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26722 [cs.LG] |
| （或 arXiv:2610.26722v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26722 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anxin Guo [查看电子邮件]
[v1]
2026年10月19日星期一 16:50:03 UTC（317 KB）
[v2]
2026年10月21日星期三 02:21:26 UTC（317 KB）
来源：arXiv cs.CL · arxiv.org