arXiv cs.AI· Shreya Saha, Benjamin Bergen, Meenakshi Khosla·· 6 天前AI 评分39
神经网络比单个神经元所显示的更具模块化
Neural networks are more modular than single neurons suggest
AI 导读
研究提出单元级、正交、线性三层嵌套的模块化框架，并通过选择性消融进行因果评估，发现视觉模型、语言模型和多任务 RNN 虽缺乏单元级模块化，却常在子空间层面呈现清晰的功能模块化。在视觉与语言模型中，内容与风格、句法与语义在子空间消融下分离，且这些子空间与脑数据的对齐方式各异。该分解还能在 RNN 中恢复任务间的双重分离，为机制可解释性提供支持。
正文 · AI 翻译
摘要：神经网络通常会形成这样的表征：单个神经元参与多种不同的功能，这导致人们普遍认为此类网络缺乏模块化组织。我们通过引入一个形式上嵌套的模块化层级来挑战这一结论：单元级，要求不同的计算占据互不重叠的神经元；正交级，探究是否存在某种旋转能揭示功能独立的子空间；线性级，探究是否存在有界线性映射能将任务相关的计算分离到独立子空间中。我们开发了一个统一框架，用于在每个层级学习分解，并通过选择性消融对其进行因果评估。在视觉模型、语言模型和多任务循环神经网络（RNN）中，我们发现缺乏单元级模块化的网络往往在子空间层面仍表现出清晰的功能模块化。在视觉和语言模型中，内容与风格、句法与语义分别在子空间消融下发生分离，尽管它们共享重叠的神经元群体。这些学习到的子空间还与大脑数据存在差异性对齐：内容子空间和风格子空间分别预测更高级和更低级的视觉皮层，而语义子空间在预测语言皮层活动方面优于句法子空间。在多个认知任务上训练、此前被证明缺乏模块化结构的 RNN 中，我们的分解方法恢复了任务之间清晰的双重分离。单元级模块化的缺失常常与跨领域清晰的子空间级模块化共存，使得即使在没有任何单个神经元专门化的网络中也能对特定计算进行靶向干预，这对机制可解释性以及理解生物和人工神经系统的功能组织具有广泛意义。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12842 [cs.AI] |
| （或 arXiv:2610.12842v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12842 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shreya Saha [查看电子邮件]
[v1]
2026年10月9日星期五 00:58:07 UTC（9,167 KB）
来源：arXiv cs.AI · arxiv.org