arXiv cs.AI· Mridul Mahajan, Aldo Pacchiano, Xuezhou Zhang·· 23 小时前AI 评分29
学习撤销:状态空间变换下的强化学习迁移
Learning to Undo: Transfer Reinforcement Learning under State Space Transformations
AI 导读
研究者提出一种强化学习迁移算法,通过学习一个“撤销映射”将目标 MDP 的状态空间还原为源 MDP,从而把源策略迁移到目标环境。理论分析表明,在撤销映射为线性且源满足线性-$Q^\star$ 可实现时,该方法样本复杂度严格优于在目标 MDP 上从头训练。在连续控制任务和 Atari 游戏上,该方法显著提升了样本效率。
正文 · AI 翻译
摘要:强化学习(RL)中的迁移学习已在实证上取得显著成功。在本工作中,我们采取更具原则性的视角,研究在 MDP(源与目标)之间迁移知识何时以及如何能够被证明是有益的。具体而言,我们考虑存在一个撤销映射(undo map)的情形,使得将该映射应用于目标的状态空间能够精确恢复源。我们提出一种算法,通过匹配从两个 MDP 收集的状态特征统计量来学习该映射,然后利用它将源策略迁移到目标。我们从理论上论证了该算法:分析了撤销映射为线性且源为线性-$Q^\star$ 可实现的情形,在此情形下我们的方法在目标 MDP 中的样本复杂度严格优于从零开始的 RL。在实证上,我们证明这些优势超越了该情形:在具有挑战性的连续控制任务和 Atari 游戏上,我们的方法取得了显著更好的样本效率。总体而言,我们的结果凸显了如何利用任务间的共享结构来实现策略在不同环境间的高效迁移。
| 评论: | NeurIPS'26 论文 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23081 [cs.LG] |
| (或 arXiv:2611.23081v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23081 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Mridul Mahajan [查看电子邮件]
[v1]
2026年11月17日星期二 17:06:51 UTC(2,471 KB)
来源:arXiv cs.AI · arxiv.org