arXiv cs.AI· Wenyan Yang, Arsenii Mustafin, Dominik Baumann, Joni Pajarinen, Simone Parisi·· 6 天前AI 评分22
SUN：在强化学习中同时追求新颖性与可达性
SUN: Reaching for Novelty in Reinforcement Learning
AI 导读
研究者提出 SUccessor-to-Novelty（SUN）指标，从后继价值函数导出，用于识别既新颖又可到达的目标，可无缝接入任意 off-policy 强化学习算法。SUN 被证明是计数缩放目标到达奖励的价值，能约束短视界命中概率并拒绝不可达目标，配套自适应目标选择策略与轻量伪计数。在含不可达状态、不可逆转移、障碍、迷宫和无界空间的标准与新环境中，SUN 持续优于现有方法。
正文 · AI 翻译
摘要：强化学习（RL）中的探索仍然是一个基本挑战。近期基于目标的 RL 策略（选择目标以鼓励更广泛的状态覆盖）已显示出有前景的结果，但没有任何一种方法能同时根据新颖性和可达性对目标进行评分：这两种信号要么被手动权衡、按顺序应用，要么其中一种被完全忽略。在本文中，我们引入了一个可达性感知的目标选择框架，它明确整合了这两个方面，并且可以无缝地融入任何离策略 RL 算法。为此，我们提出了 SUccessor-to-Novelty（SUN），一种从后继价值函数导出的指标，用于识别既新颖又可到达的目标。我们证明了 SUN 是一个计数缩放的目标到达奖励的价值，界定了短时程命中概率，并拒绝不可达的目标。我们进一步提出了一种利用这些性质的自适应目标选择策略，以及一种准确而轻量的伪计数，以避免经典方法的开销。我们用全面的基准测试支持我们的所有主张：SUN 在标准和新颖环境中，在具有不可达或难以到达状态、不可逆转移、障碍物、迷宫和无界空间的情况下，始终优于最先进的方法。代码见 this https URL
| 评论： | 39 页。被第 19 届欧洲强化学习研讨会（EWRL 2026）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2609.08642 [cs.LG] |
| （或 arXiv:2609.08642v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.08642 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Wenyan Yang [查看电子邮件]
[v1]
2026 年 9 月 8 日星期二 12:12:13 UTC（20,404 KB）
[v2]
2026 年 10 月 9 日星期五 07:34:13 UTC（20,260 KB）
来源：arXiv cs.AI · arxiv.org