arXiv cs.AI· Ruize Xu, Chenxiao Yang, Yanhong Li, David McAllester·· 13 小时前AI 评分39
训练 Transformer 成为通用计算机：小模型学会执行 MicroPy 程序
Towards Training Transformers as a Universal Computer
AI 导读
一项 EMNLP 2026 研究发现，小型 Transformer 经随机生成的 MicroPy 程序训练后，能借助 PENCIL 脚手架在有限上下文窗口内预测小步执行过程，并泛化到比特复制与翻转、二进制加减乘、SAT 验证与求解等未见人类手写程序。由于 MicroPy 具备计算通用性，该结果为标准 Transformer 可被训练为通用计算机提供了实证。
正文 · AI 翻译
摘要：我们证明，一个小型 transformer 可以学会执行 MicroPy 程序，MicroPy 是一种简化但计算完备的编程语言。给定过程定义以及待求值的表达式，该 transformer 使用 PENCIL 脚手架预测小步执行，从而在有界上下文窗口内实现空间高效的执行。在随机生成的、语义任意的 MicroPy 程序上训练后，学习到的 transformer 能泛化到留出的人类编写的程序，包括位复制与翻转、二进制加法与乘法，以及 SAT 验证与求解。训练后的模型表现出分布外泛化能力：它能正确求值来自与其训练数据生成分布显著不同的分布的程序。由于 MicroPy 可以表达任何计算，我们的结果提供了经验证据，表明标准 transformer 在与 PENCIL 脚手架配合时可以被训练为通用计算机。项目页面：this https URL
| 评论： | EMNLP 2026 Findings。22 页，5 幅图，3 张表。项目页面：this https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2604.25166 [cs.AI] |
| （或 arXiv:2604.25166v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.25166 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EMNLP 2026，第 48933-48954 页 |
提交历史
来自：Ruize Xu [查看电子邮件]
[v1]
2026 年 4 月 28 日星期二 03:15:44 UTC（626 KB）
[v2]
2026 年 10 月 29 日星期四 10:55:24 UTC（330 KB）
来源：arXiv cs.AI · arxiv.org