跳到正文
arXiv cs.CL· Zeyuan Allen-Zhu·· 10 小时前AI 评分58

语言模型物理学 Part 4.2:Canon 层在万亿 token 规模下让合成预训练在现实中生效

Physics of Language Models: Part 4.2, Canon Layers at Scale where Synthetic Pretraining Resonates in Reality

AI 导读

Zeyuan Allen-Zhu 用 64 次从零预训练实验(1.3-8B 参数、1-2T Nemotron-CC token)研究标准基准能否反映架构差异。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:标准基准能否看到真正重要的架构差异?我们通过在 1-2T Nemotron-CC token 上对 1.3-8B 参数的 Transformer 和三个线性模型家族进行 64 次从零开始的预训练来研究这一问题,每次 8B 运行的成本约为 10 万美元。
在学术规模的预训练中(1.3B 参数、100B token),当模型经过精心调优时,架构差异几乎可以消失。相反,在 1-2T token 规模下,这些差异变得可测量:Canon 层通过增加局部 token 混合,持续改进 Transformer,在 8B 规模下达到相同 MMLU 准确率可节省约 30% 的预训练 token。我们还引入了 GLA5 和 GDN2,通过低秩输出门改进了门控线性注意力和 Gated DeltaNet。令人惊讶的是,配合 Canon,最简单的线性模型——门控线性注意力——在 8B/1T 规模下也能匹敌 Gated DeltaNet 并超越 Mamba2。因此,Gated DeltaNet 和 Mamba2 的额外机制可能只是混合了相邻 token。
然而,即使在 8B/1T 规模下,标准基准上的高分也可能掩盖基本上下文内技能的弱点。特别是,在这些基准上匹敌或超越 Transformer 的线性模型,实际上无法可靠地从 500 token 的短上下文中检索信息。此外,无论是 Transformer 还是线性模型,即使在这个规模下,也没有任何模型能在可以说是最简单的两跳问题上可靠地击败随机猜测,该问题仅用几句简短的话陈述。
这些发现 $\textbf{挑战了主要基于标准基准分数的传统架构研究}$。相比之下,小型合成实验场在 <100M 参数下就预测了上述架构差异,可以揭示这些基准所遗漏的内容。对于从业者而言,一个教训是从早期阶段就在预训练数据中包含上下文内推理示例,而不是将它们留到后期的中期训练,更不用说后训练了。
评论: 结果、配方和代码自 2025 年 12 月 9 日起已在 此 https URL 公开
主题: 计算与语言 (cs.CL);人工智能 (cs.AI)
引用为: arXiv:2611.24963 [cs.CL]
  (或 arXiv:2611.24963v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24963

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Zeyuan Allen-Zhu [查看电子邮件]
[v1] 2026 年 11 月 12 日星期四 18:51:19 UTC(1,006 KB)

来源:arXiv cs.CL · arxiv.org