arXiv cs.AI· Pengzhi Yang, Xinyu Wang, Pengyu Jing, Kehan Wen, Yiduo Qu, Zhenhao Huang, Minghao Fu, Xin Liu, Yaheng Shen, Fan Shi·· 3 天前AI 评分22
RARM：面向机器人操作的置信门控进度奖励建模
RARM: Confidence-Gated Progress Reward Modeling for RL in Manipulation
AI 导读
研究者提出 Reference-Anchored Reward Model（RARM），一种轻量视觉比较器，可将单条成功演示转化为稠密的进度感知奖励，训练仅用通用视频和对比式时序目标，无需机器人数据或任务专属奖励标注。
正文 · AI 翻译
摘要：机器人操作中的强化学习常常受制于奖励设计，尤其是在长时程任务中：稀疏的成功奖励提供的监督信号较弱，而手工设计的稠密奖励既繁琐又难以跨任务泛化。基于进展的奖励模型提供了一种有前景的替代方案，它通过估计某个观测在多大程度上向任务完成推进来给出奖励，但现有方法通常需要任务特定的演示或进展标签，并且可能给视觉上看似合理但物理上错误的状态分配高奖励。我们提出了参考锚定奖励模型（Reference-Anchored Reward Model，RARM），这是一种轻量级视觉比较器，可将单个成功演示转化为稠密且感知进展的奖励。RARM 仅使用通用视频并通过对比式时序目标训练一次，无需机器人特定数据、任务特定奖励标签或逐任务奖励工程。在部署时，RARM 将 rollout 片段与参考片段进行匹配，仅对置信的前向进展给予奖励，从而抑制可能产生假阳性奖励的不确定匹配。在来自 LIBERO 和 MetaWorld 的 9 个模拟操作任务以及 4 个真实世界任务上，RARM 在后续 RL 训练中取得了最佳的整体成功率，在诸如叠衣服等长时程任务上提升尤为显著，因为在这些任务中不可靠的进展估计尤其有害。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.22027 [cs.RO] |
| （或 arXiv:2606.22027v5 [cs.RO] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2606.22027 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pengzhi Yang [查看邮箱]
[v1]
2026年6月20日星期六 13:03:21 UTC（16,178 KB）
[v2]
2026年6月24日星期三 05:16:35 UTC（16,178 KB）
[v3]
2026年8月24日星期一 04:09:24 UTC（16,181 KB）
[v4]
2026年8月25日星期二 07:44:37 UTC（16,181 KB）
[v5]
2026年10月12日星期一 07:47:18 UTC（13,680 KB）
来源：arXiv cs.AI · arxiv.org