arXiv cs.AI· Laura Gomezjurado Gonzalez·· 14 小时前AI 评分31
数字表示如何影响 Transformer 的算术泛化：Collatz 预测研究
The Long Delay to Arithmetic Generalization
AI 导读
研究发现 Transformer 在一步 Collatz 预测中的泛化延迟（grokking）只在训练集整数种类很少时出现，而数字的进制表示决定了需要多少整数才能泛化。当进位只依赖当前位、输出位仅依赖少数相邻输入位时，所需训练整数可减少数倍，且该顺序可在训练前预测。线性探针从随机初始化编码器中恢复输入低位残差的准确率与训练后相当，说明高探针准确率不能可靠证明模型学会了计算这些特征。
正文 · AI 翻译
摘要：如今的大型语言模型在没有工具辅助时，仍会在多位数算术上出错，部分原因在于数字被拆分成 token 的方式。算术也是一个每个输入的正确答及其生成算法都已知的设定，因此在其上训练 transformer 能让我们对照标准答案研究它们学到了什么。这些模型往往在泛化到留出输入之前很久就已拟合训练集，这种延迟被称为 grokking，且随训练集增大而减小。但是，数字的表示方式如何改变 transformer 泛化所需的数据量？我们研究一步 Collatz 预测，其中 transformer 读取以选定进制表示的整数的各位数字，并输出其 Collatz 序列中下一项的各位数字。我们发现，长延迟只在训练集中不同整数很少时出现，而进制决定了多少整数才足够。在每位输出数字仅依赖少数相邻输入数字的进制中，由于位间进位只取决于当前数字，transformer 所需的训练整数少好几倍。我们在训练前就预测了这一排序，且输入长度无法解释它。同样的进位结构还能预测哪些进制对第二个 Collatz 映射、整数除法、仅解码器 transformer 以及三种模型规模都容易。最后，线性探针从随机初始化的编码器中恢复输入低阶余数的准确度，与从训练过的编码器中恢复一样高。因此，在此类特征上高探针准确率并不能可靠表明模型已学会计算它们。更广泛地说，我们表明数字表示的选择会以我们能在训练前从任务结构预测的方式影响样本效率。
| 评论： | 20 页，8 幅图，18 张表。被 NeurIPS 2026 可解释性作为科学研讨会接收。经同行评审后修订并扩展，解释根据额外实验更新 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.13082 [cs.LG] |
| （或 arXiv:2604.13082v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.13082 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Laura Gomezjurado Gonzalez [查看邮箱]
[v1]
2026 年 3 月 30 日周一 22:20:38 UTC（175 KB）
[v2]
2026 年 6 月 17 日周三 04:09:14 UTC（301 KB）
[v3]
2026 年 10 月 23 日周五 18:53:37 UTC（296 KB）
来源：arXiv cs.AI · arxiv.org