arXiv cs.AI· Leo Dobson, Anton Ragni·· 10 小时前AI 评分31
RNN 的时序秩瓶颈:结构化高维状态动力学如何恢复时序容量
Temporal Rank in Recurrent Neural Networks
AI 导读
研究指出 RNN 存在一个独立于梯度消失/爆炸的固有限制:秩受限的隐藏状态动力学造成信息瓶颈,压缩了可长期保留的独立输入方向数量,即输入到状态映射的秩。作者提出结构化高维状态动力学,在保持时序可分性的同时防止输入到状态 Jacobian 随时间饱和,模型仍严格属于标准 RNN 形式,在受控序列任务上学习速度显著加快。结果表明 RNN 性能由时序秩的演化与保持决定,仅缓解梯度问题不足以维持时序容量。
正文 · AI 翻译
摘要:循环神经网络(RNN)是时序建模的自然框架,然而由于其顺序、不可并行的计算方式以及难以捕捉长程依赖(通常归因于梯度消失和梯度爆炸),往往被忽视。我们发现了一个独特且尚未充分探索的局限:由秩约束的隐藏状态动力学所引起的信息瓶颈,它限制了随时间可保留的独立输入方向的数量,这体现在输入到状态映射的秩上。我们证明,这一约束独立于梯度稳定性而限制了时序容量。为解决此问题,我们引入了结构化高维状态动力学,它保持时序可分性并防止输入到状态雅可比矩阵随时间饱和。在受控序列任务上,所得模型尽管严格保持在标准 RNN 公式之内,却表现出快速学习能力。我们的结果表明,RNN 的性能受时序秩的演化与保持所支配,并表明仅缓解梯度病态而不显式维持时序容量是不够的。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24394 [cs.LG] |
| (或 arXiv:2611.24394v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24394 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Anton Ragni [查看电子邮件]
[v1]
2026年11月18日星期三 13:28:07 UTC(3,301 KB)
来源:arXiv cs.AI · arxiv.org