arXiv cs.AI· Xiaoli Liu, Yujie Liang, Jialin Li, Chenxiao Dou, Malu Zhang·· 10 天前AI 评分27
SpikeMoE：受大脑启发的竞争性路由，实现灵活的脉冲混合专家模型
SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts
AI 导读
SpikeMoE 将神经元尺度的脉冲动力学与模型尺度的专家选择相结合，其核心是受海马 CA1 区竞争-抑制机制启发的脉冲 k-WTA 路由，通过侧向抑制和不应期按离散脉冲计数选择 Top-K 专家。
正文 · AI 翻译
摘要：脉冲神经网络（SNN）通过受生物启发的神经元尺度动力学实现事件驱动计算，而混合专家（MoE）则在模型尺度上通过专家选择执行条件计算。将二者的优势相结合，有望构建灵活的神经架构。然而，一个关键挑战在于设计基于脉冲活动的专家选择机制。为此，我们受海马 CA1 区观察到的竞争-抑制现象启发，提出了一种基于脉冲的 k-WTA 路由器。该路由器结合侧抑制和不应期，根据离散脉冲计数选择 Top-K 专家。在此基础上，我们提出了 SpikeMoE，一个将神经元尺度脉冲动力学与模型尺度专家选择相融合的框架。为解决多模态任务中多感官输入不完整的问题，我们进一步为 SpikeMoE 配备了一个两阶段缺失模态建模模块，该模块将来自已观测模态池的经验原型与模态特定的可学习嵌入相结合，以构建缺失模态表示。在视觉、语言和多模态基准上的实验表明，SpikeMoE 在 SNN 基线中达到了最先进的性能，与 ANN 对应模型相比性能相当或更优，并在多种缺失模态条件下保持稳健性。这些结果证明了性能与能效之间的良好权衡，验证了脉冲动力学与稀疏专家计算的融合，并凸显出 SpikeMoE 是一种有望实现高能效类脑计算的方法。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.01418 [cs.AI] |
| （或 arXiv:2610.01418v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01418 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaoli Liu [查看电子邮件]
[v1]
2026年10月1日星期四 10:22:00 UTC（4,944 KB）
[v2]
2026年10月6日星期二 13:20:58 UTC（4,944 KB）
来源：arXiv cs.AI · arxiv.org