arXiv cs.AI· Kevin Li, Marinka Zitnik·· 10 小时前AI 评分24
RADT：用后见重标注实现无奖励的 reach-avoid 离线强化学习
Hindsight Relabeling is All You Need for Reach-Avoid Learning
AI 导读
研究者提出 RADT，一种面向离线、无奖励、目标与避让区域条件化的决策 Transformer 强化学习方法，将目标与避让区域直接编码为提示词 token，评估时可指定任意数量、任意大小的避让区域。
正文 · AI 翻译
摘要：离线目标条件强化学习方法在到达-规避任务中已展现出潜力，此类任务要求智能体在到达目标状态的同时避开状态空间中的不良区域。现有方法通常将规避区域信息编码到增广状态空间和代价函数中，这导致在评估时无法灵活、动态地指定新的规避区域信息。它们还严重依赖精心设计的奖励函数和代价函数，限制了向新环境和规范的迁移能力。我们提出 RADT，一种用于离线、无奖励、目标条件、规避区域条件强化学习的决策 Transformer 方法。RADT 将目标和规避区域直接编码为提示词元，允许在评估时指定任意数量、任意大小的规避区域。仅使用来自随机策略的次优离线轨迹，RADT 就能借助我们新颖的规避区域事后重标记方法，以完全数据驱动的方式学习到达-规避行为，无需奖励/代价监督。我们在 17 个任务、环境和实验设置下，将 RADT 与现有离线目标条件强化学习模型进行基准对比。RADT 能以零样本方式泛化到分布外的规避区域大小和数量，优于需要重新训练的基线方法。在其中一种零样本设置下，RADT 相比最佳重新训练基线在归一化代价上取得 35.7% 的提升，同时保持较高的目标到达成功率。我们还将 RADT 应用于生物学中的细胞重编程，展示了其通用性。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；定量方法（q-bio.QM） |
| 引用为： | arXiv:2505.19337 [cs.LG] |
| （或 arXiv:2505.19337v3 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2505.19337 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kevin Li [查看邮箱]
[v1]
2025 年 5 月 25 日周日 22:00:38 UTC（1,504 KB）
[v2]
2025 年 5 月 27 日周二 02:56:11 UTC（1,505 KB）
[v3]
2026 年 11 月 3 日周二 19:58:21 UTC（1,672 KB）
来源：arXiv cs.AI · arxiv.org