arXiv cs.AI· Nishanth Anand, Doina Precup·· 11 小时前AI 评分31
用参数化与非参数化表示分离永久与瞬态价值函数，提升持续强化学习
Permanent and Transient Representations for Continual Reinforcement Learning
AI 导读
该研究提出让长期学习依赖参数化表示、瞬态适应依赖非参数化表示，以缓解持续强化学习中的稳定性-可塑性权衡。作者为复杂任务中的瞬态价值函数引入一种新的非参数化近似方法，使系统支持在线学习。在图像类任务和 Craftax-Classic 上，该方法优于竞争基线，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：持续强化学习（CRL）智能体在适应新情境的同时难以保留先前的知识，从而导致稳定性与可塑性之间的权衡。解决该问题的一种方法是使用互补学习系统：一个用于缓慢的长期学习，另一个用于快速的瞬态适应。Anand & Precup（2023）使用永久价值函数和瞬态价值函数将这一想法实例化，但在两个系统中使用了相同的特征。直观地说，长期学习应更多地依赖参数化表示以实现广泛的泛化，而瞬态学习则最适合由非参数化表示来服务于特定情境的适应。在本文中，我们从理论和实证两方面探索了这一想法。通过引入一种新颖的非参数化近似方法，用于在复杂任务中估计瞬态价值函数，我们证明了我们的方法能够实现在线学习，并在基于图像的任务和 Craftax-Classic 上优于竞争性基线，凸显了我们系统级分解的有效性。
| 评论： | 已被第40届神经信息处理系统大会（NeurIPS 2026）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07327 [cs.LG] |
| （或 arXiv:2611.07327v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07327 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nishanth Anand [查看电子邮件]
[v1]
2026年11月5日星期四 02:11:47 UTC（17,635 KB）
来源：arXiv cs.AI · arxiv.org