arXiv cs.AI· Jiaxuan Luo, Xingguo Xu, Shanshan Wang, Yuhan Zhou, Zhen Zhang·· 10 小时前AI 评分44
CriticHack:评估机器人策略优化下的视觉奖励模型
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
AI 导读
研究发现视觉奖励模型可通过成功/失败区分与任务成功率上升两项检查,却仍让策略学会操作错误物体:用 Robometer 微调扩散策略开抽屉时任务成功率升 10.2 个百分点,开错抽屉的失败率同时升 10.9 个百分点,RoboReward-8B 与真机实验重现该现象。
正文 · AI 翻译
摘要:学习型视觉奖励模型根据相机图像和指令对机器人的执行进行评分,并越来越多地被用于微调机器人策略。有两项检查决定是否信任一个奖励模型:奖励模型能否区分成功与失败,以及任务成功率在训练期间是否上升。我们表明,这两项检查都能通过,而策略却学会了作用于错误的对象。当扩散策略针对奖励模型 Robometer 进行微调以打开抽屉时,任务成功率上升了 10.2 个百分点。而打开另一个抽屉的错误对象失败上升了 10.9 个百分点,相比之下,在模拟器的任务完成信号上进行同样的训练只会提升成功率。第二个奖励模型 RoboReward-8B 表现出相同的行为,而且这一效应在物理机器人上再次出现。这是因为奖励模型对策略自身失败的评分方式。大多数失败进展甚微,得分很低,而错误对象失败看起来像是有进展,得分远高于它们。优化会将策略推向那些得分高于与其竞争的执行的結果,即它们可以取代的执行。因此,即使奖励模型给成功的评分更高,它也会把低分失败转化为成功和错误对象失败。这一规则只需要初始策略的执行,因此可以在训练前进行测试。在一个堆叠任务中,我们预测了 Robometer 会利用三种物体放置中的哪一种,训练使该放置中的错误对象堆叠从 20% 上升到 69%,而其他两种放置均未出现。同一规则提供了一个在优化前运行的检查,以及一种无需标签的修复方法:在用指令未指定的物体重新渲染的帧上再次对每个执行评分,可以消除两个任务和机器人上的放大效应。
| 评论: | 36 页 |
| 主题: | 机器人学(cs.RO);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.02527 [cs.RO] |
| (或 arXiv:2610.02527v2 [cs.RO] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.02527 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jiaxuan Luo [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 21:57:25 UTC(1,962 KB)
[v2]
2026 年 11 月 18 日星期三 00:11:01 UTC(1,152 KB)
来源:arXiv cs.AI · arxiv.org