脉冲语言模型首获Chinchilla式缩放定律

Dan Saunders 等人提交论文，首次对 SpikeGPT 家族（RWKV 骨干）脉冲语言模型做 Chinchilla 式 IsoFLOP 缩放分析。研究在 FineWeb-EDU 上扫描宽度 384 至 1536、算力 3×10^17 至 10^19 FLOPs，得出最优参数量随算力增长的关系为 N_opt ∝ C^0.56，接近稠密 Transformer 的 0.50。 该结果意味着脉冲语言模型在算力分配上呈现与稠密 Transformer 相近的缩放行为，但 0.56 与 0.50 的差异是否具有实质影响，报道未给出结论。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。