CauCRL：面向离线对比目标条件强化学习的反事实 rollout 方法

Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning

AI 导读

针对离线示范者信息不可见导致对比强化学习（CRL）学到虚假动作—结果关联的问题，研究者提出因果对比强化学习（CauCRL），用混杂马尔可夫决策过程形式化该设定，并引入反事实转移区分数据可识别与不可识别的部分。CauCRL 从正负离线示范中学习悲观的反事实转移，并在反事实 rollout 上训练 critic，在混杂目标达成任务上成功率显著优于标准 CRL。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：对比强化学习（CRL）通过将状态—动作对与随后到达的状态相关联来学习目标条件价值，假设没有未观测变量同时影响所记录的动作及其结果。当离线演示来自一个对学习器隐藏信息的演示者时，这一假设不成立，评论家会吸收虚假的动作—结果关联。我们用混杂马尔可夫决策过程形式化这一设定，并引入反事实转移，将数据所能识别的与不能识别的区分开来；在所有相容转移上取最小值可得到一个最坏情况占用度，它是真实占用度的下界。因果对比强化学习（CauCRL）从正、负离线演示中学习一个悲观的反事实转移，并在反事实轨迹上训练评论家，在混杂目标达成任务上大幅提高了成功率，优于标准 CRL。

主题：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2610.14953 [cs.LG]
	（或 arXiv:2610.14953v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.14953 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Tingrui Huang [查看邮箱]
[v1] 2026年10月10日星期六 14:25:32 UTC（648 KB）

来源：arXiv cs.AI · arxiv.org