arXiv cs.AI· Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal·· 1 天前AI 评分48
用神经细胞自动机预预训练语言模型：164M 合成 token 提升下游性能 6%
Training Language Models via Neural Cellular Automata
AI 导读
研究者提出用神经细胞自动机（NCA）生成非语言合成数据，对 LLM 做"预预训练"，即在自然语言预训练之前先训练合成数据。仅用 164M NCA token，在 400M-3B 模型上使下游语言建模性能最高提升 6%，收敛速度最高加快 1.6x，效果甚至超过用 1.6B 高质量自然语言 token 预预训练。
正文 · AI 翻译
摘要：预训练对大语言模型（LLM）至关重要，因为大部分表征和能力都是在这一阶段获得的。然而，自然语言预训练存在一些问题：高质量文本数量有限、包含人类偏见，并且将知识与推理纠缠在一起。这引出了一个根本性问题：自然语言是通往智能的唯一路径吗？我们提出使用神经细胞自动机（NCA）为 LLM 生成合成的、非语言数据，用于预预训练——即先合成数据、后自然语言的训练方式。NCA 数据展现出丰富的时空结构和统计特性，与自然语言相似，同时可控且能以低成本大规模生成。我们发现，仅用 1.64 亿个 NCA token 进行预预训练，就能使下游语言建模性能提升最高 6%，并在采用 Chinchilla 最优数据预算训练的 400M–3B 模型中加速收敛最高 1.6 倍。令人惊讶的是，这甚至优于使用更多算力在 16 亿个高质量自然语言 token 上进行预预训练。在探究迁移的驱动因素时，我们发现注意力层最具可迁移性，且最优 NCA 复杂度因领域而异：代码受益于更简单的动力学，而数学和网页文本则偏好更复杂的动力学。这些结果使得能够系统地调整合成分布以面向目标领域。更广泛地说，我们的工作开辟了一条通往更高效模型、实现完全合成预训练的道路。
| 评论： | 网站：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.10055 [cs.LG] |
| （或 arXiv:2603.10055v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.10055 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seungwook Han [查看邮箱]
[v1]
2026年3月9日星期一 18:14:26 UTC（1,417 KB）
[v2]
2026年11月11日星期三 17:22:52 UTC（2,827 KB）
来源：arXiv cs.AI · arxiv.org