DIRU：受树突启发的循环单元，用于学习混沌动力学

1 引言

循环神经网络（RNN）已被广泛用于序列数据建模。诸如长短期记忆（LSTM）网络 [1] 等传统架构利用门控单元捕获时间依赖关系，这些门控单元是学习得到的机制，用于调节在处理序列时保留、更新或丢弃多少来自先前时间步的信息。这使得网络能够在许多时间步上保持对过去输入的记忆。然而，由于单 compartment 处理以及梯度消失/爆炸问题，对混沌和高度非线性系统进行建模仍然具有挑战性，尽管已经提出了有用的扩展 [2, 3]。

相比之下，生物神经元利用具有多个非线性 compartment 的精细树突树，在单个神经元内执行分层计算 [4]。这些树突分支不仅仅是无源电缆，而是能够进行局部非线性整合、重合检测和输入特异性过滤的主动处理单元 [5]。这种 compartment 化架构使神经元能够在亚细胞水平上实现计算能力强大的操作，例如方向选择性、逻辑运算和增益调制 [6, 7]。

在这一视角下，Brenner 及其同事为树突 RNN 提出了一个“可处理”的框架 [8]。在他们的模型中，树突是结构化的但本质上为无源的非线性子单元，旨在实现数学上可分析的系统重建和可解释性，优先考虑可处理性、稳定性和可识别性。其他更侧重于生物物理真实性的研究 [9] 则更进一步，证明单个皮层神经元的复杂输入–输出变换可以由深度人工神经网络准确近似，这表明树突树在细胞水平上有效地实现了多层非线性计算，尽管这并非专门针对时间序列或混沌系统。

受这些原理启发，我们提出了树突启发循环单元（Dendrite-Inspired Recurrent Unit，DIRU），它在每个循环单元内集成了多个计算区室。与作为单一整体积分器运作的传统 RNN 单元不同，DIRU 的区室化设计通过模拟生物树突计算的功能优势，实现了并行非线性处理、分层特征提取以及训练过程中改进的梯度流动。与 Brenner 的可处理框架 [8] 相比，DIRU 将树突建模为主动计算子单元，而非被动的信号积分器。每个树突分支对其输入施加可学习的门控机制，使突触信号在贡献到单元输出之前能够被选择性地放大或衰减。此外，一个全局调制信号通过乘法缩放项调整神经元的整体增益，使网络能够根据全局上下文或隐藏状态调整其对输入的敏感度。树突分支进一步实现非线性变换，这些变换在到达胞体输出之前被分层组合，从而在单个循环单元内有效引入多阶段特征处理。这一结构受到树突计算模型的启发，这些模型表明单个神经元可以近似多层非线性处理 [4, 10]。最后，循环更新引入了残差连接，使先前的隐藏状态与当前更新相加组合。残差循环改善了梯度传播，并稳定了长程时间依赖的学习 [11]。总体而言，这一设计将循环单元转变为一个结构化非线性动力系统，能够进行自适应门控、上下文相关的增益调制以及分层特征处理。这将架构从执行输入和隐藏状态的单一全局变换的标准循环单元，转变为具有多个相互作用区室的自适应动力系统，能够进行上下文相关计算、动态路由、状态切换以及更丰富的非线性表示，以简单性换取表达能力、生物真实性和学习能力。

2 背景

使用神经网络对非线性动力系统的行为进行建模和预测已成为一个活跃的研究领域，涵盖在难以推导显式分析模型的情况下用于系统辨识、状态预测和控制的数据驱动方法 [12]。然而，混沌动力系统由于其固有的对初始条件敏感的特性，尤其是具有非周期吸引子结构时，对循环学习架构而言从根本上具有挑战性。在此类系统中，微小的近似误差会随时间迅速放大，导致轨迹发散、吸引子漂移以及长时程预测不稳定。经典循环架构（包括 LSTM）在单一同质状态空间中编码动力学，限制了其捕捉多吸引子景观、状态转换和分层非线性相互作用的能力 [13]。因此，混沌动力学通常由平滑的替代模型而非忠实的内部模型来近似，从而降低了稳定性 [14]。

我们提出解决这些局限性的方法，其灵感来自生物神经元中树突的详细计算。神经元并非单一的整合点，而是由树突亚单位组成的复杂非线性处理器，能够进行局部整合、重合检测和分层非线性变换 [4]，如图 1 中的简化示意图所总结。这些区室化结构使得单个神经元内部能够进行功能上的深度计算，使生物系统能够在细胞层面执行并行处理和情境敏感调制。树突架构并非仅作为隐喻性灵感，而是为学习复杂动力系统提供了一种强大的结构性归纳偏置 [5]。将这种区室化嵌入人工循环架构中，引入了内部计算层级，从而实现多尺度表征，这在具有强非线性相互作用的混沌系统中尤为有益，将表征能力扩展到超越单体循环单元的水平 [15]。

这些架构原则与生物时间序列尤为相关，因为其动力学本质上是非线性的、多尺度的且依赖于状态的。很多时候，这些观点主要从认知神经科学的角度进行研究，且主要集中在功能状态之间的转换上 [16]。此外，非线性与动力系统分析已被应用于临床情境，以刻画脑动力学中的病理改变。例如，非线性脑电图（EEG）分析揭示了精神分裂症中复杂性和动力学特性的改变，包括与健康对照组相比，相关维数和李雅普诺夫指数等指标的变化 [17, 18]。其他研究人员研究了大尺度脑活动模型中的多稳定性。例如，Golos 及其同事即使没有聚焦于特定的临床疾病，也探索了基于连接组的神经群模型如何涌现出吸引子景观和多稳定动力学 [19]。

树突计算启发了先前的工作，但其中许多模型将树突视为被动的非线性子单元，主要面向系统重构而非自适应学习。相比之下，主动的树突在向神经元输出做出贡献之前，对输入信号执行局部的非线性计算，从而实现区室化处理，超越了标准 LSTM 单元所执行的单一整体式整合 [4, 10]。生物物理细节丰富的模型 [9] 捕捉了树突的复杂性，但并非为序列学习任务而设计，且计算代价高昂。鉴于这些观察，所缺失的是一种架构，它能够：(a) 通过可学习的门控将主动树突计算嵌入循环单元，使每个区室能够选择性地放大或抑制输入；(b) 通过结构化的区室化保持梯度流动，其中并行的树突区室对输入进行非线性处理并贡献于共享的循环状态，从而促进长序列上的稳定学习；(c) 通过实现端到端优化而无需手工特征，扩展到真实世界的生物时间序列。在实践中，我们的目标是通过引入 DIRU 来填补这一空白，它将可学习门控、并行区室处理和通过共享隐藏状态的隐式协调相结合，有效地将受神经科学启发的树突计算与现代深度序列学习架构（如 RNN 和 LSTM）连接起来。

诸如 EEG 之类的神经信号表现出非平稳性、跨频率耦合、亚稳态以及动态状态之间的快速转换，反映了其背后神经群体的动力学 [20]。传统的循环模型往往难以在单一的潜在状态表示中解开这些相互作用的時間尺度和非线性相互作用。这里，术语单一潜在状态表示指的是标准 RNN 或 LSTM 的隐藏状态 \(h_t\)，它在每个时间步将所有过去信息压缩为单个向量。这可能限制网络解开相互作用的時間尺度和非线性相互作用的能力。多区室循环架构通过支持对不同时间和频谱成分的并行处理、跨尺度的分层整合以及内部动力学的上下文相关调制，为对此类信号建模提供了自然的框架。这使受树突启发的循环单元成为一种具有生物学基础且计算上合适的架构，用于对复杂神经时间序列（包括 EEG）建模，其中学习有意义的动力学结构对于预测和可解释性都至关重要。

这项工作聚焦于一个具体但基础的问题：受树突启发的区室化能否提升循环网络在混沌动力学（如洛伦兹系统）中的性能，其中层次结构可能更好地捕捉非线性相互作用并稳定长期预测？我们没有试图对完整的大脑状态演化进行建模，而是证明即使是简单的区室化架构，也能为合成混沌系统和真实神经时间序列带来可衡量的收益。在以下各节中，我们详细描述该架构，并在实验中，将所提方法与广泛接受的 LSTM 以及 Brenner 等人提出的方法（在本文余下部分称为“Tractable”RNN）进行比较。

癫痫是最常见的严重神经系统疾病之一，其特征是易反复出现由大脑异常神经元放电引起的无诱因癫痫发作 [21]。与生命后期发生的癫痫不同，新生儿癫痫发作通常是继发于潜在损伤（如缺氧缺血性脑病、颅内出血、感染或代谢紊乱）的急性症状性事件，其及时识别在临床上很重要，因为未被识别或持续时间较长的癫痫发作与更差的神经发育结局相关 [22]。这种临床紧迫性与视觉解读困难的结合，促使人们对自动癫痫发作检测产生了浓厚兴趣，尤其是考虑到近期有重要证据表明，癫痫发作期间的 EEG 动力学可能是混沌的 [23, 24]，这对那些隐含或明确假设动力学更平滑或更平稳的表征学习方法构成了挑战。

3 方法

3.1 DIRU 架构

每个 DIRU 单元由 K 个非线性区室组成。令 \(\textbf{x}_t \in \mathbb {R}^{d_{x}}\) 表示时间 t 的输入，\(\textbf{h}_t \in \mathbb {R}^{d_h}\) 表示隐藏状态，\(\textbf{c}_t^{(i)}\) 表示一般区室状态 i。给定 K 个并行区室，我们首先定义隐藏维度 \(d_h\) 和区室数量 K。

对于每个区室 \(i \in \{1,\dots ,K\}\)，我们通过独立的非线性变换计算候选状态 \(\tilde{\textbf{c}}_t^{(i)} \in \mathbb {R}^{d_h}\)：

$$\begin{aligned} \tilde{\textbf{c}}_t^{(i)} = \tanh \!\Big ( W_{\text {in}}^{(i)} \textbf{x}_t + W_{\text {rec}}^{(i)} \textbf{h}_{t-1} \Big ) \end{aligned}$$

(1)

其中 \(W_{\text {in}}^{(i)} \in \mathbb {R}^{d_h \times d_x}\) 和 \(W_{\text {rec}}^{(i)} \in \mathbb {R}^{d_h \times d_h}\) 是区室 i 的输入和循环权重矩阵。注意，\(W_{\text {rec}}^{(i)}\) 对应于共享矩阵 \(W_{\text {rec}} \in \mathbb {R}^{(K \cdot d_h) \times d_h}\) 的第 i 个 \(d_h\) 大小的块，沿输出维度分块。

与之前的分区隔室模型（例如可处理的树突 RNN）不同，DIRU 通过对堆叠隔室输出进行 softmax 注意力机制，引入了上下文相关的调制：

$$\begin{aligned} \textbf{w}_t = \textrm{softmax}\!\Big ( W_g \big [\tilde{\textbf{c}}_t^{(1)} ; \cdots ; \tilde{\textbf{c}}_t^{(K)}\big ] \Big ), \quad \mathbf {W_g} \in \mathbb {R}^{K \times (K \cdot d_h)} \end{aligned}$$

(2)

其中 \(\textbf{w}_t \in \mathbb {R}^K\)，每个标量 \(w_t^{(i)}\) 是分配给隔室 i 的注意力权重，满足 \({\sum} _{i=1}^K w_t^{(i)} = 1\)，而 \(\textbf{Wg}\) 是一个时间不变的门控矩阵，在各时间步之间共享。

最终隐藏状态计算为所有隔室输出的注意力加权和：

$$\begin{aligned} \textbf{h}_t = \sum _{i=1}^{K} w_t^{(i)}\, \tilde{\textbf{c}}_t^{(i)} = \sum _{i=1}^{K} w_t^{(i)}\, \tanh \!\Big ( W_{\text {in}}^{(i)}\textbf{x}_t + W_{\text {rec}}^{(i)}\textbf{h}_{t-1} \Big ) \end{aligned}$$

(3)

其中 \(\textbf{w}_t\) 由式 2 定义，得到 \(\textbf{h}_t \in \mathbb {R}^{d_h}\)。通过这种方式，K 个隔室并行运行，其输出通过学到的注意力权重进行聚合，以产生下一个隐藏状态。门控机制使用 softmax 函数，确保隔室贡献被归一化，并可解释为对并行处理路径的软选择。

在结构上，DIRU 被组织为一组并行的计算隔室。隔室之间的交互不通过直接的侧向突触发生；相反，协调是通过共享的循环状态和式 2 中基于注意力的聚合隐式介导的。这种设计确保了稳定的信息集成，同时保持了可扩展性，并避免了与密集跨隔室耦合相关的不稳定性。

对于具有 K 个隔室的 DIRU 架构，可训练参数的总数由下式给出：

$$\begin{aligned} \#\theta _{\text {DIRU}} = \underbrace{K \cdot d_h \cdot d_x}_{\text {input weights } W_{\text {in}}^{(i)}} + \underbrace{K \cdot d_h^2}_{\text {shared recurrent } W_{\text {rec}}} + \underbrace{K^2 \cdot d_h}_{\text {attention gate } W_g} + \underbrace{2K \cdot d_h}_{\text {biases } b_{\text {in}}^{(i)},\, b_{\text {rec}}}. \end{aligned}$$

(4)

所有基线模型都配置了相同的隐藏维度 \(d_h\)，以确保受控比较。特别地，LSTM 包含 \(4(d_x d_h + d_h^2 + d_h)\) 个参数（包括偏置），而可处理的树突 RNN 使用维度为 \(d_c = d_h / K\) 的分区隔室，并满足约束 \(d_h \equiv 0 \pmod {K}\)，包含 \(K(d_c d_x + d_c d_h) + d_h^2\) 个参数。DIRU 模型包含 5,888 个参数，可处理的树突 RNN 包含 3,457 个参数，LSTM 基线包含 5,908 个参数。可处理模型由于其分区隔室设计而更小，但它提供了一个有意义的基线，用以评估 DIRU 中基于主动注意力的门控的影响。

DIRU 通过其隔室化架构改善了梯度传播。隐藏状态相对于前一隐藏状态的雅可比矩阵为：

$$\begin{aligned} \frac{\partial \textbf{h}_t}{\partial \textbf{h}_{t-1}} = \sum _{i=1}^{K} \left[ w_t^{(i)} \cdot \textrm{diag}\!\big (1 - \tanh ^2(\cdot )\big ) \cdot W_{\text {rec}}^{(i)} + \frac{\partial w_t^{(i)}}{\partial \textbf{h}_{t-1}} \cdot \tilde{\textbf{c}}_t^{(i)\top } \right] , \end{aligned}$$

(5)

其中 \(\tanh ^2(\cdot )\) 的隐式参数为 \(W_{\text {in}}^{(i)}\textbf{x}_t + W_{\text {rec}}^{(i)}\textbf{h}_{t-1}\)，而 \(\frac{\partial w_t^{(i)}}{\partial \textbf{h}_{t-1}}\) 反映了通过 softmax 注意力门的梯度。

这种结构为梯度流提供了三个优势。首先，误差通过 K 条具有独立权重矩阵 \(W_{\text {rec}}^{(i)}\) 的并行路径传播，减轻了重复非线性变换的累积，而这种累积通常会导致单体架构中的梯度消失。其次，softmax 注意力权重 \(w_t^{(i)}\) 动态地将梯度流集中通过最活跃的隔室，同时通过饱和的隔室将其衰减，从而防止长序列中的梯度消失。第三，并行隔室化将计算分布到独立的子空间，减轻了导致单体架构中梯度消失的复合非线性。在训练过程中，为了数值稳定性，梯度范数被裁剪为 \(\Vert \nabla \theta \Vert _2 \le 1.0\)。与此实现和实验相关的代码公开在 https://github.com/alecrimi/DIRU。

这些特性在结构上将 DIRU 与仅依赖时间门控的经典门控循环模型（如 LSTM）以及采用无自适应门控的被动非线性隔室的可处理树突 RNN 区分开来。

3.2 合成混沌训练数据

为了评估我们的模型、Brenner 的可处理树突 RNN 以及 LSTM 在非线性和混沌动力学上的能力，我们在典型的低维混沌系统上进行了受控实验。这些系统提供了明确定义的基准动力学、已知的吸引子结构以及对初始条件的强敏感性，使其适合作为评估循环架构的表征能力、稳定性和长时程预测性能的基准。

我们主要关注两个经典混沌系统：Lorenz 吸引子和 Mackey–Glass 时滞系统。这些将在本节剩余部分进行解释，并分别在图 2 (a) 和 (b) 中描绘。

Lorenz 系统

Lorenz 系统由耦合非线性微分方程定义

$$\begin{aligned} \frac{dx}{dt}&= \sigma (y - x), \end{aligned}$$

(6)

$$\begin{aligned} \frac{dy}{dt}&= x(\rho - z) - y, \end{aligned}$$

(7)

$$\begin{aligned} \frac{dz}{dt}&= xy - \beta z, \end{aligned}$$

(8)

其中 \(\sigma\)、\(\rho\) 和 \(\beta\) 是控制系统混沌状态的参数。我们使用了标准混沌配置 \(\sigma = 10\)、\(\rho = 28\) 和 \(\beta = 8/3\)。轨迹通过显式数值积分生成，使用固定时间步长 \(\Delta t = 0.01\)，从随机初始条件开始。这产生了在经典 Lorenz 奇异吸引子上演化的三维状态轨迹，其特征为多稳定性、对初始条件的敏感依赖以及状态变量之间的非线性耦合。

Mackey–Glass 系统

Mackey–Glass 方程是一个非线性时滞微分方程，其形式为

$$\begin{aligned} \frac{dx(t)}{dt} = \frac{\beta x(t-\tau )}{1 + x(t-\tau )^n} - \gamma x(t), \end{aligned}$$

(9)

其中 \(\tau\) 是延迟参数，\(\beta\)、\(\gamma\) 和 n 控制非线性和反馈强度。它被视为一个吸引子系统，因为其动力学基于引入记忆和非线性的延迟，在相空间中朝着稳定的状态集演化，这对于生成丰富的动力学至关重要。由于这些原因，它被用作 RNN 的基准，并用于模拟血细胞浓度，例如在慢性粒细胞白血病中 [25]。我们采用了标准混沌配置，其中 \(\tau = 17\)、\(n = 10\)、\(\beta = 0.2\) 和 \(\gamma = 0.1\)。该系统使用离散时间数值积分进行模拟，并丢弃初始瞬态期以确保收敛到混沌吸引子。这产生了一个一维时间序列，表现出长程时间依赖性、延迟反馈和复杂的非线性动力学。

数据集构建

从每个模拟轨迹中，使用滑动窗口方法提取重叠的输入-目标序列。输入序列由长度为 \(L=100\) 个时间步的连续片段组成，而目标对应于预测范围 \(H=10\) 步的未来轨迹。这种表述定义了一个多步预测任务，其中模型必须学习底层系统动力学，而不是短期自回归相关性。为此，我们还在相同生成的数据集上研究了更长的预测范围，例如 25、50 和 100 步。

Lorenz 系统被视为 \(\mathbb {R}^3\) 中的多变量预测问题，而 Mackey–Glass 系统则是一个单变量延迟动力学预测任务。所有轨迹均归一化为零均值和单位方差，以确保稳定的优化和跨系统的可比缩放。

混沌时间序列训练协议

模型经过训练，以最小化预测范围内预测未来状态与真实未来状态之间的均方误差（MSE）：

$$\begin{aligned} \mathcal {L} = \frac{1}{H} \sum _{h=1}^{H} \Vert \hat{\textbf{x}}_{t+h} - \textbf{x}_{t+h} \Vert ^2, \end{aligned}$$

(10)

其中 \(\hat{\textbf{x}}_{t+h}\) 表示在预测步长 h 处的预测状态，\(\textbf{x}_{t+h}\) 表示真实状态。这样，损失函数本身就代表了预测的 MSE。优化使用 Adam 优化器进行了 80 个 epoch。

该训练设置评估模型学习系统内在动力学、在长时间跨度上保持稳定内部表示，以及在混沌状态下生成结构一致轨迹的能力。与短时预测任务相比，该公式明确探测长期稳定性、随预测步长变化的误差累积以及状态保持，因此特别适合评估多隔室循环架构（如 DIRU）的优势。

此外，我们使用配对 t 检验评估了各方法最佳验证损失的统计显著性（第 3 节）。

3.3 赫尔辛基新生儿 EEG 数据

有显著证据表明，癫痫发作期间的 EEG 时间序列可能是混沌的 [23, 24]。因此，对于真实生物信号的实验，我们使用了具有挑战性的赫尔辛基新生儿 EEG 数据集，这是一个公开可用的多通道 EEG 记录集合，记录了入住赫尔辛基大学医院新生儿重症监护病房（NICU）的足月新生儿 [26]。该数据集包含 79 名人类新生儿的 EEG 记录，记录时长中位数为 74 分钟。在这 79 名新生儿中，39 名被记录有癫痫发作，22 名被归类为无癫痫发作，其余受试者在专家之间存在不同标注 [26]。同样重要的是要记住，所有受试者都是非典型病例，而非对照组，即使被标记为无癫痫发作也是如此。大多数新生儿存在缺氧、脑病、代谢紊乱、结构性病变或药物影响。总之，该数据集来自一个癫痫事件很少的病理人群。此外，尽管完整记录时间较长，但标注者标记的癫痫发作约为 1 分钟或更短，并且通常仅在记录中出现一次。在 79 个文件中，有 3 个未通过质量控制并被排除（样本 #4、#29 和 #50）。尽管如此，该数据集因此提供了新生儿 EEG 动力学的异质样本，可用于评估真实非线性时间序列中的表示学习。

预处理

其余文件按照标准流程进行了预处理。简而言之，EEG 记录首先在 0.5 至 40 Hz 之间进行带通滤波，以去除缓慢漂移和高频噪声。信号使用双极导联重新参考，其中每个通道表示两个相邻电极之间的电压差，然后通过减去均值并除以标准差对每个通道进行归一化 [27]。使用这种表示，数据集中一个带有标记癫痫发作（发作期）和发作前时期（发作前期）的示例如图 3 所示。此外，我们将这种表示用作近似的源级推断 [28]，其中基于传感器的位置通过将传感器作为种子转换为基于源的位置。

数据表示

重要的是，遵循 [29] 中的评论，我们使用了记录电极的一个子集，因为完整的研究配置并不能反映 NICU 中真实的临床环境。这种缩减与新生儿 EEG 的临床建议一致，其中减少通道的导联组合已被验证可用于癫痫发作检测 [30, 31]。这一决定非常实用，尤其是考虑到可用子集较小以及特征向量可能具有的高维度。如 [29] 中所述，我们因此从 19 个电极减少到 9 个，如图 4 所示。我们还忽略了来自 CZ 的信号，进一步将子集减少到 8 个电极。CZ 电极被排除在减少通道配置之外，是因为其空间特异性有限，并且在新生儿 EEG 记录中与多个通道高度相关。作为中线电极，CZ 通常捕获的是全局信号成分而非区域特异性活动，对癫痫发作分类提供的判别价值有限。去除它可减少输入空间中的冗余，同时保留具有生理意义的空间信息。然而，需要认识到，在源定位或功能连接的情况下，这些考虑需要重新评估 [32]。

然后，每个受试者/记录的这 8 个时间序列被细分为 3 秒的窗口/片段，重叠率为 75%，且未对这些参数进行优化。窗口被连续分配到各折，使得没有重叠窗口跨越训练/测试边界。这与文献中使用 2 至 6 秒片段的类似工作一致 [29, 33, 34]。

尽管数据集高度不平衡，我们并未移除或下采样非癫痫发作窗口。我们引入 0.5 作为将窗口标记为正的阈值：如果 3 秒窗口中有 \(\ge 50\%\) 包含癫痫发作，则标签为 1；否则为 0。虽然该阈值单独来看可能显得随意，但它是由基于 EEG 的癫痫发作检测的内在生理和信号处理考虑所驱动的。为完整起见，我们还在结果部分报告了将该阈值调整为更宽松值（低于 50%）时获得的结果。从神经生理学角度来看，癫痫发作动态的特征是快速转换和非平稳的时间演化。临床相关的发作期活动可能在时间窗口内局部且短暂地出现，然后才在空间或时间上占据主导。严格的多数阈值（例如远高于 \(50\%\)）会系统性地排除短暂但具有临床意义的发作起始，实际上使标记过程偏向仅持续存在的癫痫发作，并在癫痫发作的边界处引入系统性假阴性。10% 的阈值则过于宽松，容易将发作期活动极少的窗口标记为正。而至少 \(50\%\) 的标准则反映了一种面向检测的表述，其中窗口内任何不可忽略的发作期内容的存在都被视为具有诊断相关性。

从信号处理的角度来看，短暂的发作期片段可以显著改变EEG信号的频谱、非线性和动力学特征，即使它们只占据时间窗口的一小部分。因此，包含短暂癫痫活动的窗口在统计上并不等同于纯粹的发作间期窗口，将其视为负样本会引入标签噪声和特征污染。

更形式化地，令 \(s_c(t)\) 表示通道 c 的EEG信号，其中 \(c = 1, \dots , 8\)。

将所有8个通道拼接，时刻 t 的输入向量为：

$$\begin{aligned} \textbf{x}_t = [s_1(t), s_2(t), \dots , s_8(t)]^\top \in \mathbb {R}^{8}. \end{aligned}$$

(11)

RNN接收时间序列：

$$\begin{aligned} \textbf{X} = (\textbf{x}_1, \textbf{x}_2, \dots , \textbf{x}_T), \end{aligned}$$

(12)

并建模循环动态：

$$\begin{aligned} \textbf{h}_t&= \Phi (\textbf{x}_t, \textbf{h}_{t-1}) \end{aligned}$$

(13)

$$\begin{aligned} \hat{y}&= g(\textbf{h}_T) \end{aligned}$$

(14)

其中 \(\Phi\) 是循环更新函数（例如，LSTM/Tractable/DIRU单元），g 是输出映射。

大多数关于使用EEG对新生儿癫痫发作进行分类的先前工作都采用了优化的特征或架构，或应用了强数据增强。O’Shea及其同事[35]开发了一个全卷积神经网络，从原始多通道新生儿EEG中检测癫痫发作，使用原始EEG信号达到了高准确率，但首先在一个包含1,389个标注癫痫事件的更大数据集上训练模型[36]，遗憾的是该数据集并未完全公开可用。事实上，基于例如CNN和Transformer的先进架构，假设有非常大的数据集可用，即使使用原始EEG也能达到高水平准确率。鉴于此，在本文使用的小数据集上，Nemati等人[33]使用了短时傅里叶变换（STFT）频谱图和离散小波变换（DWT）子带分解，结合Inception-ResNetV2和XGBoost。Micheli等人[29]使用了尖峰特征和时频特征。Mazurek及其同事研究了Katz分形维数和频带功率能量的影响[37, 38]。在如此小的数据集上寻找特征和架构的理想组合的风险在于，我们可能找到能提高该数据集分类分数的特征，但无法保证这能泛化到其他数据集。因此，我们限制自己使用如上所述分割成小窗口的原始EEG。尽管调整窗口大小、重叠和阈值可以进一步提高该数据集上的分类指标，但我们避免此类优化，以降低上述对单一基准过拟合的风险。

训练协议EEG

模型被训练以最小化预测癫痫概率与真实窗口标签之间的加权二元交叉熵（BCE）损失：

$$\begin{aligned} \mathcal {L} = -\left[ w^{+} \, y \log (\hat{y}) + w^{-} (1-y)\log (1-\hat{y}) \right] , \quad w^{+} = \frac{N_{\text {neg}}}{N_{\text {pos}}}, \; w^{-} = 1 \end{aligned}$$

(15)

其中 \(\hat{y}\) 表示给定窗口内癫痫发作的预测概率，\(y \in \{0,1\}\) 是真实标签，\(w^{+} = \frac{N_{\text {neg}}}{N_{\text {pos}}}\) 是类别平衡权重，用于补偿非癫痫发作窗口与癫痫发作窗口之间的强烈不平衡。实际上，这是通过使用加权二元交叉熵损失 [39] 将代价敏感学习应用于不平衡二分类。这种加权策略增加了罕见癫痫发作事件的贡献，而无需对非癫痫发作数据进行下采样。

优化使用 AdamW 优化器进行，包含权重衰减、梯度裁剪、学习率预热和自适应学习率调度，每折最多 40 个 epoch。训练和评估采用患者级别的留一记录交叉验证（LOO-CV），确保训练数据和测试数据在受试者级别严格分离，防止数据泄漏。

这种训练公式评估模型学习瞬态病理动态的判别性时间表示、捕捉快速状态转换以及在高度不平衡和嘈杂的生物信号中保持稳定内部表示的能力。该目标不是短时程信号重建，而是明确探测状态判别、非线性时间积分以及对稀疏事件结构的鲁棒性，使其特别适合评估多分区循环架构（如 DIRU）在真实世界生物时间序列中的优势。模型性能使用接收者操作特征曲线下面积（AUC）进行评估。选择 AUC 作为主要指标，因为它同时衡量所有可能分类阈值下的判别性能。鉴于 LOO-CV，我们还报告置信区间以显示统计差异。对于阈值依赖指标（灵敏度、特异性、F1 和准确率），我们报告这些结果，使用自动定义的 Youden's J 阈值 [40]，该阈值常用于类似的 EEG 癫痫发作检测研究 [41, 42]。

尽管如此，我们使用原始 EEG 计算分类，并使用 K 折细分 60% 训练、20% 测试和 20% 验证来研究这些设置，并报告这些结果。消融设置在讨论部分进行论证，主要包括减少分区。

4 结果

DIRU 在所有基准测试中始终优于 LSTM。如图 5、6 和表 3、2、5 所示，DIRU 实现了更低的验证损失和更快的收敛。表 6 则总结了所有方法在各数据集上的中位收敛 epoch，定义为训练在耐心值为 8 个训练 epoch 时提前停止。验证损失（BCE）被监控用于提前停止，耐心值为 8。对于合成数据集，使用相同标准来检测收敛发生的位置，尽管我们让训练继续。

4.1 合成混沌数据

尽管使用两种合成数据时，DIRU 与 Tractable Dendritic RNN 的验证损失曲线在各 epoch 上存在一定重叠，但这是预期内的，并不与统计结果矛盾。绘制的曲线表示每个 epoch 上跨随机种子的均值 ± 标准差，反映了学习动态的变异性。相比之下，配对 t 检验是在每个种子的最佳验证损失上进行的，关注的是每个模型达到的峰值性能。即使曲线在某些 epoch 上重叠，DIRU 在跨种子情况下始终能达到更低的最小值，这反映在显著的 p 值上。因此，曲线重叠与观察到的 DIRU 统计优势是一致的。表 3 和 2 总结了最终 epoch 中所有数据集的最佳验证损失改进。

4.2 新生儿 EEG 数据

表 5 和图 7 报告了使用三种方法对原始 EEG 进行癫痫发作分类任务的分类指标。特别地，我们报告了 AUC 值及其相对置信区间 CI，以评估统计显著性。改变定义窗口中包含多少癫痫发作的阈值所得的结果报告在表 7 中。

在当前选定的特征以及将数据集划分为多个 k 折训练、测试和验证子集的情况下，观察到了性能下降。实际上，这导致三种方法的 \(AUC \approx 0.70-0.75\)。这一差异应谨慎解读，因为 LOO-CV AUC 是通过汇总所有留一录音折的留出预测计算得出的，而 K 折估计则是从一个小得多的留出分区中获得的。因此，这两个值不应被解释为可直接比较的泛化性能估计，尤其是考虑到 Helsinki 队列规模有限且具有临床异质性。

4.3 消融研究

可处理的树突 RNN 已经能够表示一项结构化的消融研究，该研究同时移除了 DIRU 的两个显著归纳偏置：全宽区室投影和软注意力加权。已进行的进一步消融与区室数量的影响有关，其在表 8 和 9 中的预测实验中显示了以下结果。

5 讨论

这项工作引入了一种受树突启发的循环神经单元，作为一类根本不同的循环架构，从单一状态空间建模转向内部结构化的循环计算，其中区室已存在于单个神经元单元内。与传统的 RNN 以及先前强调数学可处理性和系统重建的树突启发模型不同，DIRU 被设计为自适应动力系统，其中多个相互作用的区室主动塑造信息流、记忆路由和非线性变换。

现有的树突 RNN 公式，例如可处理的树突模型，主要将树突解释为结构化的非线性变换，旨在实现可识别性、稳定性和分析可解释性。虽然这产生了优雅的系统辨识框架，但它限制了表达能力，并限制了在高度非线性情况下的适应性。相比之下，DIRU 明确以理论可处理性换取表示能力和自适应计算。通过将区室特异性门控、残差递归和全局调制控制嵌入递归动力学中，DIRU 的运行更接近自适应动力系统，而非结构化回归模型。这使得 DIRU 成为神经科学启发的计算与现代深度序列学习架构之间的桥梁，将生物合理性与高容量函数逼近相结合。

The results on the synthetic chaotic series show a better reconstruction error defined within the loss function, but also a faster convergence, even in the Mackey-Glass series, which were relatively noisier in the process. Fewer epochs to convergence suggest that DIRU not only provides improved learning capacity, but also reduces training time. Those performances also reflect qualitative differences in the learned dynamics. Beyond DIRU’s performance, tractable dendritic RNN significantly outperformed LSTM on the Lorenz attractor (77.46% improvement, \(p < 0.0001\)), while LSTM showed a non-significant advantage on the Mackey-Glass system (−79.94%, p = 0.1715). Results are consistent when using horizon longer than 10 steps with DIRU still outpeforming the other methods.

The parameter asymmetry between DIRU and the Tractable model is not a confounding but a structural consequence of their respective designs. The Tractable model’s passive compartment formulation does not include per-compartment gating, global modulation, or residual recurrence, making these components architecturally absent rather than merely undersized. Inflating the Tractable model to match DIRU’s parameter count would require adding precisely the architectural elements whose absence defines it, producing a different model entirely. Moreover, in the Lorenz attractor, the Tractable model outperforms LSTM by 77% despite having roughly half of the parameters, demonstrating that structural inductive bias is the primary driver of performance, not capacity. DIRU’s further improvement over Tractable, therefore, reflects the benefit of active gating and residual dynamics, not a capacity advantage. This divergence likely reflects the distinct dynamical properties of each system: the Lorenz attractor’s multi-variable coupling may favor structured compartmentalization, whereas the Mackey-Glass system’s delayed feedback may align better with LSTM’s gating architecture.

DIRU is explicitly designed as an extension of the tractable dendritic RNN framework. The two models occupy endpoints of a compact design space: tractable RNN uses partitioned projections with linear integration, while DIRU employs full-width projections with attention-based aggregation. This design choice allows direct assessment of these two inductive biases without requiring exhaustive ablation, as the performance gap between them isolates the contribution of active gating and attention mechanisms. Replacing DIRU’s full-width projections with partitioned ones and substituting its softmax attention gate with a linear integration layer recovers the tractable dendritic RNN exactly [8]. The two models, therefore, occupy the endpoints of a compact two-axis design space. Rather than treating Tractable dendritic RNN as an arbitrary baseline, it is more precisely interpreted as a structured ablation study that simultaneously removes DIRU’s two distinguishing inductive biases, full-width compartment projections and soft attention-weighted aggregation, allowing their joint contribution to be assessed directly from the reported performance gap. There is a slight reduction in performance when reducing the number of compartments; however, the most pronounced change occurs when we move from 1 to 2 compartments.

Classical recurrent architectures encode system evolution within a single homogeneous latent space, thereby compressing all nonlinear interactions, temporal dependencies, and regime transitions into a single state manifold. This representation is inherently limited for chaotic systems, where multistability, attractor coexistence, delayed feedback, and sensitivity to initial conditions dominate the dynamics. As a result, traditional models tend to learn smoothed surrogates of chaotic trajectories rather than stable internal representations of the underlying attractor structure. DIRUs mitigate this limitation by distributing computation across multiple interacting compartments, enabling internal decomposition of nonlinear dynamics. From a dynamical systems perspective, DIRUs can be interpreted as learning internal computational hierarchies that approximate complex nonlinear operators through structured composition rather than flat recurrence. This aligns with the theoretical views of biological neurons as functionally deep computational units rather than pointwise integrators. In this sense, DIRUs draw conceptual inspiration from the principles of compartmentalized neural computation, where local nonlinear processing, coincidence detection, and hierarchical integration occur at the cellular level.

These architectural properties are also relevant for biological time series. Neural signals such as EEG exhibit nonstationarity, cross-frequency coupling, metastability, delayed feedback, and rapid transitions between dynamical regimes. Traditional recurrent models struggle to disentangle these interacting temporal scales within a single latent representation [43]. Multi-compartment recurrent architectures provide a natural inductive bias for such signals by enabling parallel processing of distinct spectral and temporal components, hierarchical integration across scales, and context-dependent modulation of internal dynamics. This makes dendrite-inspired recurrent units especially suitable for modeling neural population dynamics, where the meaningful structure lies not only in short-term correlations but also in regime transitions, attractor structure, and long-range temporal organization.

The EEG classification results tell a more nuanced story than the chaotic benchmarks. Rather than demonstrating a decisive architectural advantage, DIRU maintains competitive performance relative to LSTM and the Tractable dendritic RNN, with AUC differences remaining within a narrow band across all models. The results suggest that the recurrent architectures are capable of extracting informative temporal patterns directly from raw EEG signals, without relying on handcrafted spectral or subband feature representations. This is consistent with the nature of the task: because the models operate directly on short raw EEG windows, the discriminative signal may be dominated by local ictal waveform patterns and by the severe imbalance of the dataset, partially reducing the apparent marginal benefit of more structured recurrent computation. When the input representation itself performs much of the dynamical abstraction, the marginal benefit of compartmentalized recurrent computation is reduced. Nonetheless, DIRU does not degrade on this challenging task. It remains competitive under extreme class imbalance, small sample size, and strict leave-one-out evaluation, without data augmentation or architectural specialization. Regarding the metrics, despite the relatively low F1-score, this result is consistent with the extreme class imbalance of the neonatal seizure dataset. In such settings, even when sensitivity and specificity are reasonably high, the very low prevalence of the positive class leads to reduced precision, which in turn markedly penalizes the F1-score. The strong AUC achieved by DIRU indicates good class separability overall, while the low F1 mainly reflects the difficulty of maintaining high precision when seizure events are rare and transient in raw EEG recordings.

A further methodological point concerns the relationship between our LOO-CV and K-fold estimates on the EEG classification task (AUC = 0.884 vs. AUC \(\approx 0.70-0.75\), respectively). These two estimators are not directly comparable: the LOO-CV AUC is computed by pooling predictions across all leave-one-out folds into a single ROC curve, aggregating information across the full cohort (76 held-out recordings, one per fold), whereas the K-fold estimate reflects performance on a single, considerably smaller held-out partition (\(\sim\)20% of the cohort). The latter is therefore inherently more sensitive to the particular composition of that one test split, especially given the small sample size and clinical heterogeneity of the cohort. Given the modest size and heterogeneity of the Helsinki cohort, we caution against treating either estimate in isolation as a definitive measure of generalization performance, and we consider validation on larger, independent neonatal EEG cohorts an important direction for future work. A further limitation of the study is that its evaluation is based on window-level classification metrics; we did not compute an event-level false-alarm rate per hour [35], a standard metric in the seizure-detection literature that requires converting window-level predictions into continuous detected events via minimum-duration and merging criteria, and we identify this as an important direction for future validation of DIRU’s clinical utility.

This work establishes dendritic-inspired recurrent architectures as a promising computational substrate for learning complex nonlinear systems. Future work can build on this foundation by exploring multi-scale hierarchies, adaptive connectivity, and integration with graph-based architectures. DIRU’s compartmentalized design naturally extends to hierarchical architectures, which we leave for future investigation.

6 Conclusion

DIRU demonstrates superior capability in modeling nonlinear and chaotic systems compared to LSTM and the Tractable RNN model. Its dendrite-inspired compartmental architecture allows for hierarchical nonlinear processing, faster convergence, and better prediction accuracy. These findings motivate further investigation of compartmentalized recurrent architectures in clinical time-series analysis. In the neonatal EEG seizure detection task, DIRU outperformed the compared recurrent baselines in terms of AUC, although validation on additional cohorts will be necessary to assess clinical generalizability.

References

1. Hochreiter S, Schmidhuber J (1997) Long short-term memory. Neural Comput 9(8):1735–1780

   Article  Google Scholar 

2. Shen Y, Tan S, Sordoni A, Courville A (2018) Ordered neurons: Integrating tree structures into recurrent neural networks. International Conference on Learning Representations (ICLR). p 2019 arXiv:1810.09536

3. Chung J, Ahn S, Bengio Y (2016) Hierarchical multiscale recurrent neural networks. In: International Conference on Learning Representations (ICLR) 2017. arXiv:1609.01704

4. Poirazi P, Brannon T, Mel BW (2003) Pyramidal neuron as two-layer neural network. Neuron 37(6):989–999

   Article  Google Scholar 

5. Spruston N (2008) Pyramidal neurons: dendritic structure and synaptic integration. Nat Rev Neurosci 9(3):206–221

   Article  MathSciNet  Google Scholar 

6. Poirazi P, Brannon T, Mel BW (2003) Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. Neuron 37(6):977–987

   Article  Google Scholar 

7. London M, Häusser M (2005) Dendritic computation. Annu Rev Neurosci 28(1):503–532

   Article  Google Scholar 

8. Brenner M, Hess F, Mikhaeil JM, Bereska LF, Monfared Z, Kuo P-C, Durstewitz D (2022) Tractable dendritic RNNs for reconstructing nonlinear dynamical systems. In: International conference on machine learning, pp. 2292–2320. PMLR

9. Beniaguev D, Segev I, London M (2021) Single cortical neurons as deep artificial neural networks. Neuron 109(17):2727–2739

   Article  Google Scholar 

10. Mel BW (1992) Nmda-based pattern discrimination in a modeled cortical neuron. Neural Comput 4(4):502–517

    Article  Google Scholar 

11. He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778

12. Zhang L, Sun Y, Wang A, Zhang J (2023) Neural network modeling and dynamic behavior prediction of nonlinear dynamic systems. Nonlinear Dyn 111(12):11335–11356

    Article  Google Scholar 

13. Sussillo D, Barak O (2013) Opening the black box: low-dimensional dynamics in high-dimensional recurrent neural networks. Neural Comput 25(3):626–649

    Article  MathSciNet  Google Scholar 

14. Ott E (2002) Chaos in dynamical systems. Cambridge University Press, Cambridge

    Book  Google Scholar 

15. Pagkalos M, Chavlis S, Poirazi P (2023) Introducing the dendrify framework for incorporating dendrites to spiking neural networks. Nat Commun 14(1):131

    Article  Google Scholar 

16. Gao J, Hu J, Tung W-W (2011) Complexity measures of brain wave dynamics. Cogn Neurodyn 5(2):171–182

    Article  Google Scholar 

17. Röschke J, Fell J, Beckmann P (1995) Nonlinear analysis of sleep EEG data in schizophrenia: calculation of the principal lyapunov exponent. Psychiatry Res 56(3):257–269

    Article  Google Scholar 

18. Lee YJ, Zhu YS, Xu YH, Shen MF, Tong SB, Thakor NV (2001) The nonlinear dynamical analysis of the EEG in schizophrenia with temporal and spatial embedding dimension. J Med Eng Tech 25(2):79–83

    Article  Google Scholar 

19. Golos M, Jirsa VK, Daucé E (2013) Multistability in large scale models of brain activity. BMC Neurosci 14(Suppl 1):84

    Article  Google Scholar 

20. Breakspear M (2017) Dynamic models of large-scale brain activity. Nat Neurosci 20(3):340–352

    Article  Google Scholar 

21. Fisher RS, Acevedo C, Arzimanoglou A et al (2014) Ilae official report: a practical clinical definition of epilepsy. Epilepsia 55(4):475–482. https://doi.org/10.1111/epi.12550

    Article  Google Scholar 

22. Pressler RM, Cilio MR et al (2021) The ilae classification of seizures and the epilepsies: modification for seizures in the neonate. Epilepsia 62(3):615–628. https://doi.org/10.1111/epi.16815

    Article  Google Scholar 

23. Kwessi EA, Edwards LJ (2021) Analysis of EEG data using complex geometric structurization. Neural Comput 33(7):1942–1969

    Article  MathSciNet  Google Scholar 

24. Zhao Y, Grayden DB, Boley M, Liu Y, Karoly PJ, Cook MJ, Kuhlmann L (2025) Cortical stability and chaos during focal seizures: insights from inference-based modeling. J Neural Eng 22(3):036021

    Article  Google Scholar 

25. Glass L (2001) Synchronization and rhythmic processes in physiology. Nature 410(6825):277–284

    Article  Google Scholar 

26. Stevenson NJ, Tapani K, Lauronen L, Vanhatalo S (2019) A dataset of neonatal EEG recordings with seizure annotations. Scientific Data 6:190039

    Article  Google Scholar 

27. Tapani KT, Nevalainen P, Vanhatalo S, Stevenson NJ (2022) Validating an SVM-based neonatal seizure detection algorithm for generalizability, non-inferiority and clinical efficacy. Comput Biol Med 145:105399. https://doi.org/10.1016/j.compbiomed.2022.105399

    Article  Google Scholar 

28. Rojas GM, Alvarez C, Montoya CE, Iglesia-Vaya M, Cisternas JE, Gálvez M (2018) Study of resting-state functional connectivity networks using EEG electrodes position as seed. Front Neurosci 12:235

    Article  Google Scholar 

29. Micheli C, Thelen A, De Vos M, Dereymaeker A, Haueisen J, Fiedler P (2025) Validation of an automated seizure detection procedure for multi-channel neonatal EEG. Appl Sci 16(1):52

    Article  Google Scholar 

30. Tekgul H, Bourgeois BF, Gauvreau K, Bergin AM (2005) Electroencephalography in neonatal seizures: comparison of a reduced and a full 10/20 montage. Pediatr Neurol 32(3):155–161

    Article  Google Scholar 

31. Stevenson NJ, Lauronen L, Vanhatalo S (2018) The effect of reducing EEG electrode number on the visual interpretation of the human expert for neonatal seizure detection. Clin Neurophysiol 129(1):265–270

    Article  Google Scholar 

32. Zhang L, Wang P, Zhang R, Chen M, Shi L, Gao J, Hu Y (2020) The influence of different EEG references on scalp EEG functional network analysis during hand movement tasks. Front Hum Neurosci 14:367

    Article  Google Scholar 

33. Nemati N, Meshgini S, Rezaii TY, Afrouzian R (2025) Neonatal seizure detection from EEG using inception resnetv2 feature extraction and xgboost optimized with particle swarm optimization. Sci Rep 15(1):41493

    Article  Google Scholar 

34. Zhou W, Zheng W, Feng Y, Li X (2024) LMA-EEGNet: a lightweight multi-attention network for neonatal seizure detection using EEG signals. Electronics (Basel) 13(12):2354

    Google Scholar 

35. O’Shea A, Lightbody G, Boylan G, Temko A (2020) Neonatal seizure detection from raw multi-channel EEG using a fully convolutional architecture. Neural Netw 123:12–25

    Article  Google Scholar 

36. Temko A, McEvoy R, Dwyer D, Faul S, Lightbody G, Marnane WP Cork Neonatal EEG Seizure Dataset. EEG recordings from 18 full-term neonates with hypoxic-ischemic encephalopathy (HIE) and annotated seizure events collected at Cork University Maternity Hospital. https://cora.ucc.ie

37. Mazurek S, Blanco R, Falcó-Roget J, Crimi A (2024) Explainable graph neural networks for EEG classification and seizure detection in epileptic patients. 2024 IEEE Int Symposium Biomedical Imaging (ISBI). IEEE, pp 1–5

38. Mazurek S, Moore S, Crimi A (2025) Graph attention networks for detecting epilepsy from EEG signals using accessible hardware in low-resource settings. IEEE Open J Eng Med Biol. https://doi.org/10.1109/OJEMB.2025.3642070

    Article  Google Scholar 

39. Buda M, Maki A, Mazurowski MA (2018) A systematic study of the class imbalance problem in convolutional neural networks. Neural Netw 106:249–259

    Article  Google Scholar 

40. Fluss R, Faraggi D, Reiser B (2005) Estimation of the Youden index and its associated cutoff point. Biom J 47(4):458–472

    Article  MathSciNet  Google Scholar 

41. Daşdemir A, Örnek HK (2025) Epileptic seizure prediction with deep learning-based fusion methods. Eng Sci Tech Int J 72:102212

    Google Scholar 

42. Bangash AH, Bercu MM, Byrne RW, Pavuluri S, Salehi A (2025) Application of machine learning approaches to predict seizure-onset zones in patients with drug-resistant epilepsy: a systematic review. Front Neurol 16:1687144

    Article  Google Scholar 

43. Kaplan AY, Fingelkurts AA, Fingelkurts AA, Borisov SV, Darkhovsky BS (2005) Nonstationary nature of the brain activity as revealed by eeg/meg: methodological, practical and conceptual challenges. Signal Process 85(11):2190–2212

    Article  Google Scholar 

Download references