arXiv cs.AI· Yuli Zha, Wang Fan, Yixiao Dai, Lingjie Wang, Bang Hu, Wei Cao, Fengzhe Zhang, Fan Zhang·· 11 小时前AI 评分20
基于条件信息瓶颈的脉冲神经网络鲁棒表征学习
Robust Representation Learning for Spiking Neural Networks based on Conditional Information Bottleneck
AI 导读
研究者提出 SCIB，一种基于条件信息瓶颈的脉冲神经网络（SNN）鲁棒学习目标，将互信息压缩项 I(X;S) 替换为条件互信息 I(X;S|Y)，并引入可学习的类条件先验替代各向同性高斯先验。
正文 · AI 翻译
摘要：脉冲神经网络（SNN）凭借事件驱动的处理方式和时空稀疏性，在低功耗神经形态计算方面展现出巨大潜力，但在实际部署中，它们仍然容易受到输入扰动、硬件固有噪声和对抗攻击的影响。我们将这一脆弱性部分归因于使用传统交叉熵损失训练的标准 SNN 所学到的输入特定隐藏表示，因为我们的信息平面分析经验性地表明，在标签预测信息变得稳定之后，大量与输入相关的信息仍可能被保留。为解决这一问题，我们提出了 SCIB，一种基于条件信息瓶颈的、简单而有效的 SNN 鲁棒学习目标。与传统变分 IB 方法不同，SCIB 用条件互信息 $I(X;S|Y)$ 替换互信息压缩项 $I(X;S)$，并推导出一个可处理的变分上界。此外，它引入了可学习的类条件先验，而非与标签无关的各向同性高斯先验，从而提升了变分压缩的表达能力，并在与监督分类目标结合时鼓励形成类别结构化的表示。在 Fashion-MNIST、CIFAR-10 和 CIFAR-100 上，针对外部环境噪声、神经形态硬件噪声和对抗攻击进行的系统实验表明，在大多数评估的噪声条件下，SCIB 相比标准 SNN 和基于 IB 的基线提升了鲁棒性；在评估的攻击下，无需使用对抗训练即可提升对抗准确率；并且相对于无约束的 SNN 基线，将基于 SynOps 的单样本推理能耗降低了 24.9%。
| 评论： | 17 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28110 [cs.AI] |
| （或 arXiv:2610.28110v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuli Zha [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 12:21:31 UTC（2,240 KB）
来源：arXiv cs.AI · arxiv.org