arXiv cs.AI· Zeyun Deng, Jasorsi Ghosh, Fiona Xie, Kai Cheng, Yuzhe Lu, Katia Sycara, Joseph Campbell·· 12 小时前AI 评分20
基于能量的迁移方法提升强化学习样本效率
Energy-Based Transfer for Reinforcement Learning
AI 导读
研究者提出一种基于能量的迁移学习方法，利用分布外检测让预训练教师策略只在自身训练分布内的状态上提供引导，避免新任务差异过大时误导探索。该方法在单任务和多任务设置下均提升了样本效率与性能，论文已被 CoLLAs 2026 接收。
正文 · AI 翻译
摘要：强化学习仍然样本效率低下，尤其是当智能体必须随时间适应相关但不同的任务时，例如在持续学习环境中。通过将预训练教师策略中的知识迁移到新但相关的任务中以指导探索，可以提高效率。然而，如果新任务与教师的训练任务差异足够大，迁移的指导可能次优，并使探索偏向低奖励行为。我们提出一种基于能量的迁移学习方法，利用分布外检测来选择性地发出指导，使教师仅在其训练分布内的状态中介入。我们在理论上将能量分数与同策略强化学习下的状态访问模式联系起来。在实证上，我们的方法在单任务和多任务设置中均提高了样本效率和性能。
| 评论： | 被 CoLLAs 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2506.16590 [cs.LG] |
| （或 arXiv:2506.16590v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.16590 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fiona Xie [查看电子邮件]
[v1]
2025年6月19日星期四 20:25:52 UTC（8,198 KB）
[v2]
2026年10月20日星期二 23:13:36 UTC（16,172 KB）
来源：arXiv cs.AI · arxiv.org