表达性神经元循环网络的缩放定律与权衡

查看 PDF HTML（实验性）

摘要：皮层神经元是复杂的、多时间尺度的处理器，嵌入在循环回路中，在严格的生物学约束下经受长期进化压力塑造。相比之下，主流机器学习主要用极其简单的单元构建模型，这一默认做法承袭自早期神经网络理论。我们将其视为一个规范性的架构问题。应当如何在单元数量 $N$、每单元有效复杂度 $k_e$ 和每单元连接度 $k_c$ 之间分配固定的参数预算 $P$？是什么控制着最优分配？这需要一个能够独立于宽度和连接度调节每单元复杂度的模型。为此，我们引入了 ELM 网络，其循环层由 Expressive Leaky Memory（ELM）神经元构建，选择这些神经元是为了对应皮层神经元的功能组件。该架构允许分别调整 $N$、$k_e$ 和 $k_c$，并能在跨越多个数量级的规模上稳定训练。我们在两个性质不同的序列基准上评估该模型：神经形态 SHD-Adding 任务和 Enwik8 字符级语言建模。性能沿三个轴各自单独变化时均单调提升。在固定预算下，它们的权衡中会出现一个清晰的非平凡最优解，而更大的预算同时有利于更多\emph{和}更复杂的神经元。一个闭式信息论代理指标捕捉了这些权衡，并将两端的收益递减归因于：每神经元信噪比饱和与跨神经元冗余。跨越三个数量级可训练参数的超参数扫描描绘出一条与代理指标一致的近帕累托前沿缩放律。这表明，一旦探测这一权衡曲面，机器学习中简单单元的默认做法显然并非最优，并为皮层对复杂时空积分器的依赖提供了一个规范性视角。

评论：	33 页，28 幅图，3 张表，包括推导。已提交同行评审
主题：	机器学习（cs.LG）；人工智能（cs.AI）；信息论（cs.IT）；神经与进化计算（cs.NE）
引用为：	arXiv:2605.12049 [cs.LG]
	（或 arXiv:2605.12049v2 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2605.12049 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Aaron Spieler [查看电子邮件]
[v1] 2026年5月12日星期二 12:29:33 UTC（1,313 KB）
[v2] 2026年10月26日星期一 14:30:08 UTC（1,539 KB）