arXiv cs.AI· Yuanpeng He, Ceyao Zhang, Fangjing Li, Kefei Zhu, Lijian Li, Yueheng Li, Tianjia He, Wenpin Jiao, Zhi Jin, Yaodong Yang, Yuanpei Chen·· 3 天前AI 评分34
RAP-WAM：通过预测排练与动作扰动学习世界-动作模型
RAP-WAM: Learning World-Action Models through Predictive Rehearsal and Action Perturbations
AI 导读
RAP-WAM 将预测排练（Predictive Rehearsal）与动作扰动（Action Perturbations）结合未来监督查询和 Coupled Action Projection 进行策略学习，无需独立评分网络或部署时探针，基座直接从视频预训练骨干学习。
正文 · AI 翻译
作者：Yuanpeng He、Ceyao Zhang、Fangjing Li、Kefei Zhu、Lijian Li、Yueheng Li、Tianjia He、Wenpin Jiao、Zhi Jin、Yaodong Yang、Yuanpei Chen
摘要：近期的世界动作模型借助视频生成先验，联合预测未来观测与机器人动作。将这些先验适配到控制任务，需要确定未来预测应如何指导策略学习。RAP-WAM 将预测性排练与动作扰动（RAP）同未来监督查询以及耦合动作投影相结合，用于策略学习。预测性排练在模型生成的输入上进行训练，同时保留记录的目标，并将反复出现的误差累积为空间先验。我们扰动动作并测量视频预测的变化。基于动作响应的时空信用分配将这些响应、预测误差和排练先验结合起来，以分配视觉监督；对响应进行空间聚合可确定未来动作步骤的监督强度。无需单独的评分网络或部署时的探测。该基础模型从视频预训练骨干网络学习，无需在外部具身数据上进行中间预训练。我们评估了固定的基础模型及其经智能体精炼、以任务为条件的系统。在 42 项 RoboDojo 任务上，它们的平均成功率分别为 12.85% 和 15.62%，得分分别为 17.86 和 20.59。在 15 项真实机器人任务中，完整系统实现了 89.00% 的任务宏平均成功率，超过五个基线中最强者 37.67 个百分点。在 315 个固定输出仿真窗口中，45.21% 的响应前 20 位置落在误差前 20 之外，揭示了预测误差之外的信息。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16443 [cs.AI] |
| （或 arXiv:2610.16443v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16443 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanpeng He [查看电子邮件]
[v1]
2026年10月12日星期一 09:09:21 UTC（11,608 KB）
来源：arXiv cs.AI · arxiv.org