arXiv cs.AI· Soovadeep Bakshi, Apurba Bose·· 1 天前AI 评分42
Goodhart in the Planner：基于采样的控制会利用从人类偏好中学到的奖励
Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
AI 导读
在 HalfCheetah、Hopper 及 Meta-World 的 drawer-open、plate-slide 任务上，更强的 MPPI 搜索最多使真实回报下降 76%，而留出标签准确率仍保持 0.75-0.97；使用人类标签时抽屉 20 次运行中 0 次打开，而规划器起始的克隆策略为 10 次全部打开。
正文 · AI 翻译
摘要：机器人越来越多地通过对从人类偏好中学习到的奖励模型进行搜索来规划；我们衡量这种搜索对真实目标的影响。在带有众包标签的 HalfCheetah 和 Hopper 上，以及在带有合成标签和来自两位作者的盲标签的 Meta-World 抽屉打开和盘子滑动任务上，更难的 MPPI 搜索使真实回报下降最多达 76%，而留出标签准确率保持在 0.75-0.97：使用人类标签时，抽屉在 20 次运行中 0 次打开，而规划器所起始的克隆策略为 10 次中 10 次打开。该效应在学习到的动力学模型和图像评分器下依然存在。真实回报大致跟随规划器权重偏离其提议的程度（$\sqrt{\mathrm{KL}}$），而使用在合成标签上训练的验证器进行 best-of-$N$ 动作选择时，其表现低于单个带噪动作。我们证明，在由评分器在提议上的误差分布所设定的温度下，$\chi^2$ 正则化 MPPI 是最坏情况最优的；一旦该分布超过评分器自身的分布，就无法证明任何增益；并且一个回合的回报可精确分解为逐步项，而保证只覆盖其中一部分。根据按真实回报（一个预言机）排序的 100 个提议对进行校准，该规则是我们测试的最安全修复：它在抽屉打开和盘子滑动上平均保留克隆策略回报的 86-94%，尽管在窗口打开上较为谨慎，而那里搜索是有帮助的。根据一个人自己的比较进行校准，它无法检测评分器与该人共有的偏差；第二个人，或对人们无法区分的配对进行校正，可以限制损害。
| 评论： | 21 页，4 幅图。同等贡献。代码和结果将发布 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.09670 [cs.RO] |
| （或此版本的 arXiv:2611.09670v2 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2611.09670 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Soovadeep Bakshi [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 16:22:17 UTC（514 KB）
[v2]
2026 年 11 月 12 日星期四 07:40:41 UTC（517 KB）
来源：arXiv cs.AI · arxiv.org