arXiv cs.AI· Zeyu Fan, Alexandru-Dragos Manolache, Jan van Gemert·· 3 天前AI 评分22
RNN Homunculus：如何学习门控长期记忆
The RNN Homunculus: Learning to Gate Long-Term Memory
AI 导读
研究通过受控序列分类任务发现，门控 RNN 的瓶颈不在加法复制路径，而在门值本身需要另一个 RNN 学习，当所有训练样本都依赖长程记忆时同样受困于梯度消失。加入短依赖样本可让门控模型学到能泛化到长依赖样本的解，训练得当的门控 RNN 测试准确率可匹配甚至超过 Mamba 和 xLSTM。
正文 · AI 翻译
摘要：由于梯度消失问题，用循环神经网络（RNN）学习长距离依赖关系十分困难。像 GRU 和 LSTM 这样的门控循环神经网络解决了这一问题，通常被解释为它们能够随时间创建加性复制路径。这一解释是正确的，但并不完整：有用的 RNN 门控值本身必须被学习，而这通常由另一个 RNN 完成。我们通过精心控制的序列分类任务来研究这一门控学习问题。我们的分析表明，当所有训练样本都需要长距离记忆时，门控架构会陷入困境，因而同样受到梯度消失问题的影响。我们通过加入短依赖样本来进行干预，使门控模型能够学习到既能捕捉长依赖样本、又能跨不同类别标签泛化的解。当门控被正确学习时，门控 RNN 的测试准确率可匹配甚至超过 Mamba 和 xLSTM 等现代架构。总体而言，我们的结果凸显了门控学习是学习长距离记忆的核心部分，并展示了训练数据如何通过在更短依赖上呈现同一任务来支持这一过程。
| 评论： | 20 页，包括参考文献和附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14279 [cs.LG] |
| （或 arXiv:2610.14279v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14279 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Zeyu Fan [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 19:59:35 UTC（2,999 KB）
来源：arXiv cs.AI · arxiv.org