arXiv cs.AI· Yoav Ger, Omri Barak·· 11 小时前AI 评分22
学习揭示低秩 RNN 中的不可见结构
Learning reveals invisible structure in low-rank RNNs
AI 导读
研究将低秩 RNN 框架从活动扩展到学习，在约化重叠空间中推导出闭式低维 ODE 系统，对线性 RNN 精确、对非线性 RNN 在大 N 高斯极限下渐近精确。作者区分了决定网络活动与损失的 loss-visible overlaps 和不影响功能但描述学习所必需的 loss-invisible overlaps，后者可作为记忆变量编码训练历史。
正文 · AI 翻译
摘要：神经系统中的学习源于突触变化，这些变化重塑了行为背后的表征。虽然低秩循环神经网络（RNN）已成为将连接性与功能联系起来的有力框架，但对其学习过程的理论理解仍然难以捉摸。在这里，我们通过直接在约化的重叠空间中推导梯度下降动力学，将低秩框架从活动扩展到学习。我们构建了一个闭式的低维 ODE 系统来支配该空间中的学习，该系统对线性 RNN 精确成立，对非线性 RNN 在大 $N$ 高斯极限下渐近精确。我们分析的核心是区分两类重叠：损失可见重叠，它完全决定网络活动、输出和损失；以及损失不可见重叠，它不影响功能，但却是描述学习所必需的。我们通过两个现象来说明这种分解的后果。首先，我们表明学习可以作为一种扰动，揭示功能等价网络之间连接性的差异。其次，我们表明损失不可见重叠可以作为编码训练历史的记忆变量，并刻画了这种情况发生的条件。最后，我们提出了若干源自我们理论的可检验预测，用于生物学习实验。
| 评论： | Camera-ready NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2605.04115 [cs.LG] |
| （或此版本的 arXiv:2605.04115v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.04115 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yoav Ger [查看电子邮件]
[v1]
2026年5月5日星期二 07:41:15 UTC（2,072 KB）
[v2]
2026年10月16日星期五 04:30:44 UTC（2,109 KB）
来源：arXiv cs.AI · arxiv.org