arXiv cs.CL· Dan Saunders, Benjamin Ren, Catherine He·· 11 小时前AI 评分29
SpikeGPT 类脉冲语言模型的首个 Chinchilla 式 IsoFLOP 缩放定律研究
Compute-Optimal Scaling Laws for Spiking Language Models
AI 导读
研究首次对 SpikeGPT 家族（RWKV 骨干）脉冲语言模型做 Chinchilla 式 IsoFLOP 缩放分析，在 FineWeb-EDU 上扫描宽度 384 至 1536、算力 3×10^17 至 10^19 FLOPs，得出最优参数量 N_opt ∝ C^0.56，接近稠密 Transformer 的 0.50。
正文 · AI 翻译
摘要：脉冲神经网络旨在通过稀疏的二值激活实现节能的语言建模，但脉冲语言模型在规模上的效率与精度权衡尚未得到刻画。我们首次对脉冲语言模型开展 Chinchilla 风格的 IsoFLOP 扩展研究，在 FineWeb-EDU 上，将 SpikeGPT 系列模型（RWKV 主干）的宽度从 384 扫描到 1536，计算预算从 $3\times10^{17}$ 到 $10^{19}$ FLOPs。我们报告两项发现。第一，计算最优前沿为 $N_{opt} \propto C^{0.56}$，接近 Hoffmann 等人针对稠密 Transformer 报告的 0.50，因此脉冲并不会改变在计算预算下参数与数据应如何权衡。第二，与以相同方式训练的非脉冲 RWKV 和 Transformer 基线相比，损失差距可拆分为约 0.16 nats 的主干成本（该成本不随计算量变化）以及随计算量稳步下降的脉冲成本（在我们的范围内从 0.34 nats 降至 0.23 nats）。这些结果给出了脉冲语言模型的首个计算最优配方，并量化了其稀疏性带来的精度成本。
| 评论： | 被 AXIOM: Foundations of Efficient Deep Learning（NeurIPS 2026 workshop）接收。4 页正文 + 附录，4 幅图，5 张表。v2：修正了 1e18 和 3e18 FLOPs 处的脉冲成本（此前脉冲与基线运行是在不同的验证集划分上评分的）；脉冲成本现在稳步下降，而非趋于平缓 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.15146 [cs.LG] |
| （或 arXiv:2610.15146v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15146 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Saunders [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 19:46:24 UTC（1,097 KB）
[v2]
2026 年 10 月 20 日星期二 15:59:21 UTC（1,096 KB）
来源：arXiv cs.CL · arxiv.org