arXiv cs.AI· Himanshu Udupi, Calvin Ang, Sungyoon Kim, Xiaocong Yang, ChengXiang Zhai·· 6 天前AI 评分25
脉冲神经网络优化的凸优化方法：全局与近似保证
Convex Optimization of Spiking Neural Networks with Global and Approximation Guarantees
AI 导读
研究者将脉冲神经网络（SNN）训练重构为等价的凸优化问题，证明一类阈值 RNN（含 leaky integrate-and-fire SNN）的权重衰减正则化训练问题具有零对偶间隙，且与凸规划最优值相同。
正文 · AI 翻译
摘要：脉冲神经网络（SNN）已被提出作为深度神经网络的节能替代方案。其训练是非凸的，且涉及不可微的脉冲函数，因此现有方法无法保证达到全局最优。我们通过将 SNN 优化形式化为一个等价的凸优化问题来解决这一问题。具体而言，我们证明了一类阈值 RNN（包括泄漏积分点火 SNN）的权重衰减正则化训练问题具有零对偶间隙，并且与一个凸规划具有相同的最优值。由于所得的凸规划在数据量上可能具有指数级多的变量，我们引入了一个实用的随机代理，并对其近似质量建立了高概率保证。在实验上，最佳的凸变体在 addition 和 first-last-XOR 上优于代理梯度训练，在 sequential MNIST 上与其性能相当，而在 base-3 和 base-5 addition 上落后于 reservoir 基线。
| 主题： | 神经与进化计算（cs.NE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.08022 [cs.NE] |
| （或 arXiv:2605.08022v3 [cs.NE] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.08022 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaocong Yang [查看邮箱]
[v1]
2026年5月8日星期五 17:10:08 UTC（2,655 KB）
[v2]
2026年6月26日星期五 20:47:07 UTC（2,652 KB）
[v3]
2026年10月9日星期五 03:25:50 UTC（3,270 KB）
来源：arXiv cs.AI · arxiv.org