arXiv cs.AI· Zhengzheng Tang·· 6 天前AI 评分24
NeuronSpark：面向语言建模的选择性脉冲状态空间模型与自适应计算
NeuronSpark: Selective Spiking State Space Models with Adaptive Computation for Language Modeling
AI 导读
NeuronSpark 是一种无需自注意力、基于输入依赖脉冲膜动力学的语言模型，每个神经元的衰减率、增益和发放阈值随当前 token 内容自适应调整，从而支持从随机初始化直接进行十亿级预训练，无需骨干迁移、转换或蒸馏。
正文 · AI 翻译
摘要：脉冲神经网络有望实现类脑神经动力学，然而相对于转换、蒸馏和骨干网络适配等方法，原生大规模脉冲语言模型预训练在很大程度上仍未被探索。我们诊断出一个核心障碍：标准脉冲神经元对每个 token 施加相同的发放敏感度，从而产生密集发放或静默发放的状态，仅靠全局调参难以解决。这一问题在语言建模中尤为突出，因为单个序列包含信息角色差异极大的 token，使得统一的发放机制与数据匹配不佳。我们通过 NeuronSpark 来解决这一问题，这是一种无自注意力的语言模型，围绕输入依赖的脉冲膜动力学构建，其中每个神经元的衰减率、增益和发放阈值都适应当前 token 内容。结合门控联想记忆和自适应时间聚合，这种选择性使得从随机初始化进行十亿级预训练成为可能，无需骨干网络迁移、转换或蒸馏。我们将该神经元与固定参数脉冲模型相关联，并将该记忆与线性注意力相关联。在 1.1B 参数和 2.1B token 下，NeuronSpark 达到 40.0 的八任务零样本平均值，超过同等预算的 Pythia/Mamba 检查点，保留其完全训练得分的 95.2%/93.2%，并自发形成快--慢层次结构。在 2,048 token 下，参数匹配的 VHDL 点相比 Transformer/Mamba 将操作能耗代理降低 90.1%/67.0%，周期数降低 94.1%/80.3%；一条物理 FPGA 路径达到 24.000s TTFT 和 0.082440 TPS。
| 学科： | 人工智能（cs.AI） |
| MSC 分类： | 68T07 |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2603.16148 [cs.AI] |
| （或 arXiv:2603.16148v2 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2603.16148 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhengzheng Tang [查看电子邮件]
[v1]
2026年3月17日星期二 06:01:05 UTC（1,851 KB）
[v2]
2026年10月9日星期五 02:42:30 UTC（577 KB）
来源：arXiv cs.AI · arxiv.org