arXiv cs.AI· Lute Lillo, Nick Cheney·· 3 天前AI 评分22
TeLAPA：超越单模型优化，在持续强化学习中保持可塑性
Beyond Single-Model Optimization: Preserving Plasticity in Continual Reinforcement Learning
AI 导读
研究提出持续强化学习框架 TeLAPA（Transfer-Enabled Latent-Aligned Policy Archives），将行为多样的策略邻域组织为按任务划分的存档，并维护共享潜在空间，使存档策略在非平稳漂移下仍可比较和复用。
正文 · AI 翻译
摘要：持续强化学习必须在保持与适应之间取得平衡，然而许多方法仍然依赖\emph{单模型保留}，即认定一个不断演化的策略作为跨任务的主要可复用解决方案。即使保留了先前成功的策略，在受到干扰后它也可能不再能为快速适应提供可靠的起点，这反映了一种\emph{可塑性丧失}，而单策略保留无法解决这一问题。受质量-多样性方法的启发，我们提出了\textsc{TeLAPA}（Transfer-Enabled Latent-Aligned Policy Archives，迁移使能的潜在对齐策略档案库），这是一个持续强化学习框架，它将行为多样的策略邻域组织为按任务划分的档案库，并维护一个共享的潜在空间，使得已归档的策略在非平稳漂移下仍保持可比且可复用。这一视角将持续强化学习从保留孤立解决方案转变为维护\emph{技能对齐的邻域}，其中包含有能力且行为相关的策略，以支持未来的重新学习。在我们的 MiniGrid CL 设置中，\textsc{TeLAPA} 成功学习了更多任务，在受到干扰后重新访问任务时能更快恢复能力，并在任务序列中保持更高的性能。我们的分析表明，源最优策略往往并非迁移最优，即使在局部有能力邻域内也是如此；有效的复用取决于保留并在多个邻近备选方案中进行选择，而不是将它们坍缩为一个代表。总之，这些结果将持续强化学习重新定位为围绕可复用且有能力的策略邻域，为超越单模型保留、迈向更具可塑性的终身智能体提供了一条路径。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经网络与进化计算（cs.NE） |
| 引用为： | arXiv:2604.15414 [cs.LG] |
| （或使用 arXiv:2604.15414v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.15414 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Lute Lillo [查看电子邮件]
[v1]
2026年4月16日星期四 17:06:54 UTC（4,491 KB）
[v2]
2026年6月9日星期二 00:58:37 UTC（6,378 KB）
[v3]
2026年10月13日星期二 17:46:41 UTC（6,378 KB）
来源：arXiv cs.AI · arxiv.org