跳到正文
arXiv cs.AI· Jiaxuan Luo, Xingguo Xu, Shanshan Wang, Yuhan Zhou, Zhen Zhang·· 10 小时前AI 评分44

CriticHack:评估机器人策略优化下的视觉奖励模型

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

AI 导读

研究发现视觉奖励模型可通过成功/失败区分与任务成功率上升两项检查,却仍让策略学会操作错误物体:用 Robometer 微调扩散策略开抽屉时任务成功率升 10.2 个百分点,开错抽屉的失败率同时升 10.9 个百分点,RoboReward-8B 与真机实验重现该现象。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:学习型视觉奖励模型根据相机图像和指令对机器人的执行进行评分,并越来越多地被用于微调机器人策略。有两项检查决定是否信任一个奖励模型:奖励模型能否区分成功与失败,以及任务成功率在训练期间是否上升。我们表明,这两项检查都能通过,而策略却学会了作用于错误的对象。当扩散策略针对奖励模型 Robometer 进行微调以打开抽屉时,任务成功率上升了 10.2 个百分点。而打开另一个抽屉的错误对象失败上升了 10.9 个百分点,相比之下,在模拟器的任务完成信号上进行同样的训练只会提升成功率。第二个奖励模型 RoboReward-8B 表现出相同的行为,而且这一效应在物理机器人上再次出现。这是因为奖励模型对策略自身失败的评分方式。大多数失败进展甚微,得分很低,而错误对象失败看起来像是有进展,得分远高于它们。优化会将策略推向那些得分高于与其竞争的执行的結果,即它们可以取代的执行。因此,即使奖励模型给成功的评分更高,它也会把低分失败转化为成功和错误对象失败。这一规则只需要初始策略的执行,因此可以在训练前进行测试。在一个堆叠任务中,我们预测了 Robometer 会利用三种物体放置中的哪一种,训练使该放置中的错误对象堆叠从 20% 上升到 69%,而其他两种放置均未出现。同一规则提供了一个在优化前运行的检查,以及一种无需标签的修复方法:在用指令未指定的物体重新渲染的帧上再次对每个执行评分,可以消除两个任务和机器人上的放大效应。
评论: 36 页
主题: 机器人学(cs.RO);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2610.02527 [cs.RO]
  (或 arXiv:2610.02527v2 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.02527

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiaxuan Luo [查看电子邮件]
[v1] 2026 年 10 月 1 日星期四 21:57:25 UTC(1,962 KB)
[v2] 2026 年 11 月 18 日星期三 00:11:01 UTC(1,152 KB)

来源:arXiv cs.AI · arxiv.org