arXiv cs.AI· Clarisse Wibault, Antoine Gorceix, Antonio L\'eon Villares, Alexey Zakharov, Evangelos Chatzaroulas, Michael Matthews, Eduardo Pignatelli, Jakob Foerster·· 9 天前AI 评分22
Q-Shaped Options：面向分层强化学习的动作抽象方法
Q-Shaped Options for Hierarchical Reinforcement Learning
AI 导读
研究者提出 Q-Shaped Options（QSO），一种分层强化学习中的动作抽象方法，通过由上下层各自 Q 函数共同塑造的共享编码器学习 option。低层 Q 函数将 option 作为目标，保留最优控制所需的区分；高层 Q 函数将其作为动作，丢弃不必要的区分。
正文 · AI 翻译
摘要：学习解决长时程、目标条件任务要求智能体在更长的时间尺度上进行推理，并在广泛的状态范围内采取行动。原则上，分层强化学习（HRL）通过动作（时间）抽象与状态（空间）抽象之间的交互来应对这两项挑战。首先，使用动作抽象将时间上延展的行为表示为选项，从而缩短有效决策时域。其次，在决策过程的每一层启用不同的状态抽象，可以实现更大程度的数据聚合以用于学习。然而，要实现分层策略的这两项优势，取决于学习到合适的动作抽象。当前的 HRL 算法会以两种方式之一失败。一些算法丢弃了最优控制所需的选项之间的区分，从而从根本上削弱了分层结构。另一些算法保留了不必要的区分，维持了时域缩减，却放弃了更粗粒度的状态抽象。在这项工作中，我们刻画了动作抽象的三项必要条件。我们引入 Q-Shaped Options（QSO）来解决全部三项。QSO 构建于一种在分层结构每一层都具有不同状态价值函数、Q 函数和策略的架构之上。它将相邻层级之间的动作抽象学习为由各自 Q 函数塑造的共享编码器。低层 Q 函数将选项用作目标，鼓励抽象保留最优控制所需的区分。高层 Q 函数将其用作动作，鼓励丢弃不必要的区分。在离线目标条件运动与操作环境中，QSO 学习到语义上有意义的选项空间，并优于基线，在所有其他被评估算法均失败的任务中实现了非零性能。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12135 [cs.AI] |
| （或 arXiv:2610.12135v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.12135 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Clarisse Wibault [查看电子邮件]
[v1]
2026年10月8日星期四 15:23:39 UTC（6,110 KB）
来源：arXiv cs.AI · arxiv.org