arXiv cs.AI· Hanfei Liu, Shuchang Feng, Yanxia Chen, Changzeng Fu, Shiqi Zhao·· 9 天前AI 评分22
Spora 如何重新权衡脉冲语言模型的时间编码与非线性计算
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
AI 导读
脉冲语言模型研究提出 Spora，通过联合设计脉冲编码与注意力算子来平衡短时窗连续语义表示与非线性注意力开销。其二进制时间权重让 T 个脉冲承载最多 T bits 的组合值，优于脉冲计数读出的 O(log₂T) bits；UBS 用阈值与脉冲触发残差衰减生成非负整数编码，BBS 分离符号与幅值并学习有符号激活的缩放。
正文 · AI 翻译
摘要：脉冲语言模型面临着在短时间窗口内表示连续语义特征与保留代价高昂的非线性注意力运算之间的权衡。我们提出了 Spora，它联合设计了脉冲编码和注意力算子。二元时间权重使 $T$ 个脉冲能够表示具有多达 $T$ 位容量的组合值，而脉冲计数读出则为 $O(\log_2 T)$ 位。单极二元脉冲（UBS）使用阈值和脉冲触发的残差衰减来产生非负整数编码；双极二元脉冲（BBS）分离符号和幅度，并为有符号激活学习一个缩放因子。这些表示支持注意力中的累加移位点积和整数指数映射。在四个时间步下，Spora 取得了 76.6 的平均 GLUE 分数和 44.1 的 CoLA MCC，分别比 SpikeLM 提高了 1.2 和 6.2 分。将 BBS 扩展到六个时间步后，这些分数提升至 78.2 和 47.4。条件衰减分析、匹配预算的激活量化比较、事件工作负载统计以及定点评估进一步刻画了编码保真度与计算成本之间的联系。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10933 [cs.LG] |
| （或 arXiv:2610.10933v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10933 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanfei Liu [查看电子邮件]
[v1]
2026年10月7日星期三 21:41:46 UTC（4,883 KB）
来源：arXiv cs.AI · arxiv.org