arXiv cs.AI· Helena Merker, Nick Walker, Andreea Bobu·· 2 天前AI 评分24
让机器人主动提问：面向欠指定奖励的定向主动偏好学习
Asking Smarter Questions: Targeted Active Preference Learning for Underspecified Rewards
AI 导读
针对人类示教只能覆盖部分任务特征、导致奖励欠指定的问题，研究者提出把纠错负担从人转移到机器人：利用示教数据中暴露的监督薄弱特征构建先验，将偏好查询定向到这些特征，并为每次查询附上解释以聚焦人类注意力。仿真中该先验在低查询量场景下比标准主动偏好学习基线最高提升 30.8%，用户研究显示先验与解释各自显著改善奖励恢复且相互放大。该工作已被 CoRL 2026 接收。
正文 · AI 翻译
摘要：奖励学习通常假设人类的输入涵盖了任务中所有重要的内容。但在实践中，人类一次只能关注这么多，因此他们的教学自然会更好地捕捉某些特征——或任务的某些方面——而非其他方面。先前的工作已经表明，机器人如何能够直接从其教学数据中识别出哪些特征监督不足。但当前的解决方案是让人类再试一次，把负担压在了那些本就难以传达这些特征的人身上。我们提出将这一负担转移到机器人身上。我们的关键洞见是，那些告诉机器人它不知道什么的信息，同样可以帮助它提出更好的问题。偏好查询提供了一条低成本的渠道来解决这种不确定性，但前提是机器人知道该把查询指向哪里，并且人类在回答时知道该关注什么。我们以两种方式践行这一洞见：我们构建了一个知情先验，将偏好查询定向到需要解决的特征上；并且我们为每个查询附上一段解释，将人类的注意力恰好聚焦到这些特征上。在仿真中，知情先验在低查询次数场景下比标准的主动偏好学习基线高出最多 $30.8\%$，而低查询次数场景正是减少人类负担最为关键之处。在一项用户研究中，知情先验和解释各自都显著改善了奖励恢复，并且相互增强。
| Comments: | 已被第十届机器人学习会议（CoRL 2026）接收，德克萨斯州奥斯汀。18 页，8 幅图，1 张表 |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI）；人机交互（cs.HC）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.22285 [cs.RO] |
| （或 arXiv:2610.22285v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22285 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Nick Walker [查看邮箱]
[v1]
2026年10月15日星期四 17:41:46 UTC（4,211 KB）
来源：arXiv cs.AI · arxiv.org