arXiv cs.AI· Jiayi Luo, Yang Zhang, Liliang Chen, Nan Wang, Chen Gao, Boxiang Qiu, Zhuoxuan Li, Baorui Peng, Chuankang Li, Yuxiang Yan, Si Liu, Qingyun Sun, Shuicheng Yan, Maoqing Yao, Jianxin Li, Guanghui Ren·· 13 小时前AI 评分48
Rollback：在世界模型中回滚经验以改进策略
Rollback: Experience Backtracking in World Models for Policy Improvement
AI 导读
Rollback 提出一种策略改进范式，把世界模型从单向模拟器变成反事实引擎：回滚到关键决策点、分支尝试不同动作并对比结果，将反事实结果蒸馏为动作级监督，无需单独学习价值模型。在真实机器人任务上，其成功率较最强基线分别绝对提升 10.67%、11.11% 和 11.85%（方块抽取、抛球、桌面冰壶），并在抛球和桌面冰壶上训练 8 小时内超过人类玩家平均成功率。
正文 · AI 翻译
作者：Jiayi Luo、Yang Zhang、Liliang Chen、Nan Wang、Chen Gao、Boxiang Qiu、Zhuoxuan Li、Baorui Peng、Chuankang Li、Yuxiang Yan、Si Liu、Qingyun Sun、Shuicheng Yan、Maoqing Yao、Jianxin Li、Guanghui Ren
摘要：以动作为条件的世界模型为改进机器人策略提供了一种可扩展的替代方案，无需依赖成本高昂的真实世界交互。然而，现有的基于世界模型的方法大多将世界模型视为物理环境的前向代理，未能利用物理环境无法提供的一项能力：回退到过去的决策点以探索反事实的未来。我们提出 Rollback，一种策略改进范式，它将世界模型从被动的模拟器转变为反事实引擎：它回退到关键决策点，分支到备选动作，并对比其结果，从而将成功归因于单个决策。这将想象集中在最关键的地方，并将反事实结果蒸馏为细粒度的、动作级别的监督信号，而无需单独学习价值模型。我们构建了一个可扩展的训练系统，将分布式世界模型搜索与异步真实机器人执行统一起来，形成一个自我强化的循环：真实世界经验不断增强世界模型，而更强大的世界模型反过来推动进一步的策略改进。我们将该循环中世界模型这一侧称为测试时物理接地，这是手工构建的物理模拟器所缺乏的能力：世界模型充当训练环境，而它所训练的策略产生的真实转移通过轻量级 LoRA 流程修正其动力学。在三个具有挑战性的真实世界任务上的实验表明，Rollback 在积木提取、抛球和桌面冰壶任务上分别比最强基线绝对提升 10.67%、11.11% 和 11.85% 的成功率，同时在整个训练过程中实现更稳定的提升。尽管初始策略来自远低于人类水平的遥操作演示，Rollback 在训练 8 小时内便在抛球和桌面冰壶任务上超过了人类玩家的平均成功率。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36068 [cs.RO] |
| （或本版本使用 arXiv:2610.36068v1 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2610.36068 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiayi Luo [查看邮箱]
[v1]
2026年10月26日 星期一 18:01:02 UTC（15,362 KB）
来源：arXiv cs.AI · arxiv.org