arXiv cs.AI· Hans Gundlach, Alex Fogelson, Jayson Lynch, Ana Trisovic, Jonathan Rosenfeld, Anmol Sandhu, Neil Thompson·· 10 小时前AI 评分58
研究：语言模型预训练中的算法效率提升与算力规模相关
On the Origin of Algorithmic Progress in AI: Evidence from Language Model Pre-Training
AI 导读
arXiv 论文对 2012 至 2023 年 AI 预训练算法效率提升 22,000 倍的说法做消融实验，在小算力规模下只能解释不到 10 倍，加上文献中其他创新也不到 100 倍。作者通过 LSTM 与 Transformer 的缩放实验发现两者在计算最优缩放律上存在指数差异，认为算法效率增益与算力规模绑定，小算力下的算法进展远慢于此前假设。该论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：据估计，2012 年至 2023 年间，算法使 AI 预训练 FLOP 效率提升了 22,000 倍（Ho et al., 2024）。我们对这一时期的若干关键创新进行了消融实验，在小计算规模下仅能解释不到 10 倍的提升。通过调研更广泛的文献，我们估计未纳入消融实验的其他创新同样只能解释不到 10 倍的提升，因此在低计算规模下总效率提升不足 100 倍。这促使我们开展扩展实验，结果提供证据表明，效率差距可由具有规模依赖效率提升的算法来解释。具体而言，我们在 LSTM 与 Transformer 之间开展扩展实验，发现其计算最优扩展律存在指数差异的证据，而许多其他创新则几乎没有扩展差异。这些实验表明，与标准假设相反，算法的效率提升与计算规模相关联。利用实验性扩展外推和文献估计，我们能够解释同一时期的大部分效率提升。我们的结果表明，在较小的训练计算水平下，算法进展远慢于此前假设，且算法效率的度量强烈依赖于参照基准。
| 评论： | 已被 NeurIPS 2026 接收（camera-ready 版本） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类： | 68T07, 68Q25 |
| ACM 分类： | I.2.6 |
| 引用为： | arXiv:2511.21622 [cs.LG] |
| （或 arXiv:2511.21622v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2511.21622 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hans Gundlach [查看邮箱]
[v1]
2025 年 11 月 26 日星期三 17:46:31 UTC（5,021 KB）
[v2]
2026 年 11 月 10 日星期二 10:05:28 UTC（5,170 KB）
来源：arXiv cs.AI · arxiv.org