arXiv cs.AI· Zekang Wang, Zhe He, Gaojie Jin·· 6 天前AI 评分29
部分可观测 RL 中学习循环网络是否必要？冻结循环网络可作为强基线
Does Learning Recurrent Networks Matter in Partially Observable RL?
AI 导读
一项研究探讨了部分可观测强化学习中是否必须训练循环网络，提出将固定循环网络与可训练非线性输出模块结合的简单架构。在多种记忆需求、观测模态和动作空间的任务上，冻结循环网络可支持数百步的回溯，并取得有竞争力的控制性能，同时可训练参数量不到全可训练版本的一半。结果表明，学习循环记忆模块并非解决 POMDP 的必要条件，冻结循环网络为部分可观测 RL 提供了参数高效且表现强劲的基线，源代码已公开。
正文 · AI 翻译
摘要：部分可观测下的强化学习（RL）通常依赖循环网络来编码时序信息，循环模块与策略或价值函数联合训练。这引出一个自然的问题：学习循环网络真的必要吗？在本文中，我们研究一个冻结的循环网络能否为求解部分可观测马尔可夫决策过程（POMDP）提供足够的记忆。受储备池计算（RC）和广义储备池计算（GRC）理论基础的启发，我们研究了一种简单架构，它将固定的循环网络与可训练的非线性输出模块相结合。我们在具有不同记忆需求、观测模态和动作空间的任务上评估了该方法。令人惊讶的是，冻结的循环网络支持数百步的回溯，并在多样的 POMDP 上取得有竞争力的控制性能，同时其可训练参数数量不到完全可训练对应方法所需的一半。这些结果表明，学习循环记忆模块对于求解 POMDP 并不总是必要的。因此，冻结的循环网络为部分可观测 RL 提供了一个简单、参数高效且出人意料地强大的基线。我们的源代码可在 此 https URL 获取
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13197 [cs.LG] |
| （或 arXiv:2610.13197v1 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.13197 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zekang Wang [查看邮箱]
[v1]
2026年10月9日星期五 08:17:28 UTC（1,326 KB）
来源：arXiv cs.AI · arxiv.org