arXiv cs.AI· Alessandro Breccia, Federica Gerace, Marco Lippi, Gabriele Sicuro, Pierluigi Contucci·· 11 小时前AI 评分31
研究：GPT-2 架构能否学会自然数素数分解生成的有根树算术序列
Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
AI 导读
研究者用 GPT-2 架构从零训练，学习由自然数迭代素数分解映射成的有根平面树序列，词准确率约 0.4，显著高于隐马尔可夫模型基线。模型在远离训练区间的 10^13–10^15 测试块上性能保持稳定，并能将算术文本与保留词频但打乱顺序的合成序列区分开，且区分度随上下文扩大。模型还能识别算术上禁止的连续三个以上无平方因子整数序列。
正文 · AI 翻译
摘要：我们研究 transformer 网络能否学习由自然数的迭代素因数分解生成的确定性树序列。每个整数被映射为一棵有根平面树，所得序列 $\mathbb{N}\mathscr{T}$ 定义了一种具有可测统计结构的算术文本。一个 transformer 网络（GPT-2 架构）在前 $10^{11}$ 个元素上从头训练，并在下一 token 预测和掩码 token 预测任务上评估，以隐马尔可夫模型作为基线，并对上下文窗口、数据集大小、词表大小和模型规模进行缩放分析。该模型达到约 $0.4$ 的词准确率，远高于基线，且其性能在位于 $10^{13}$-$10^{15}$ 的测试块上保持稳定，远超训练区间。此外，训练后模型赋予的似然将算术文本与两个对照区分开来：保留边际 token 频率但不保留其顺序的合成 token 序列，其区分度随上下文增大而增大；以及包含超过三个连续无平方因子整数的序列，这是算术所禁止的配置。这些结果表明，transformer 捕捉到了超出其频率分布的算术文本规律。
| 评论： | 42 页，18 幅图 |
| 主题： | 人工智能（cs.AI）；无序系统与神经网络（cond-mat.dis-nn）；数学物理（math-ph）；数论（math.NT） |
| 引用为： | arXiv:2512.01870 [cs.AI] |
| （或 arXiv:2512.01870v3 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2512.01870 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Gabriele Sicuro [查看邮箱]
[v1]
2025 年 12 月 1 日星期一 16:51:38 UTC（423 KB）
[v2]
2026 年 8 月 2 日星期日 14:50:25 UTC（847 KB）
[v3]
2026 年 10 月 23 日星期五 13:41:47 UTC（1,346 KB）
来源：arXiv cs.AI · arxiv.org