arXiv cs.AI· Vikram Ramavarapu, Himanshu Udupi, Ashish Gautam·· 10 小时前AI 评分24
CoRe SNNs：脉冲神经网络强化学习中的循环模块化结构
Recurrent Modular Structure in Spiking Neural Network Reinforcement Learning
AI 导读
研究者提出 Community Recurrent SNNs（CoRe SNNs），将循环脉冲网络划分为固定角色的社区，脉冲活动表现为社区间游走、动作由游走抵达的社区决定，全部学习为局部三因子规则。
正文 · AI 翻译
摘要：生物神经回路既模块化又具有递归性，密集的群落之间稀疏相连。用于强化学习的脉冲神经网络（SNN）通常是前馈的，目前尚不清楚如何在递归 SNN 中获得功能模块，也不清楚这些模块能带来什么好处。在本工作中，我们引入一类脉冲网络，称为群落递归 SNN（CoRe SNN）：将递归网络划分为具有固定角色的群落。一个控制器群落接收刺激，每个动作都有自己的群落，潜在群落携带内部状态。于是脉冲活动就是在群落之间的游走，而动作就是游走所到达的群落。所有学习都是局部的、三因子的，且递归群落比前馈 actor 更接近皮层微回路。我们比较了三种获得群落的方式：动态模块化，其中我们引入的新学习规则 Map-STDP 在学习过程中鼓励模块化结构；部分模块化，其中随机块模型（SBM）初始化部分地强制实现模块化；以及完全模块化，其中封固完全强制实现模块化。在 CartPole 上，跨三种脉冲神经元模型，Map-STDP 相比不使用它的同一网络改善了学习，在三种模型中的两种上达到与完全模块化（封固群落）相当的效果，并使观察到的脉冲游走更具可压缩性。将 TD-STDP actor-critic 的前馈 actor 替换为递归动作群落，在 CartPole 和 LunarLander 上优于前馈网络，在 Acrobot 上与之相当。强制模块化的强度取决于任务：完全模块化在 Acrobot 上帮助最大，而在 LunarLander 上，动态、部分和完全三种方式表现相似。总体而言，这些递归模块化网络可以匹配甚至优于前馈方法，同时在生物合理性和能效方面有所改善。
| 评论： | 19 页，5 幅图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2611.14262 [cs.AI] |
| （或 arXiv:2611.14262v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14262 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vikram Ramavarapu [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 16:09:19 UTC（899 KB）
来源：arXiv cs.AI · arxiv.org