arXiv cs.AI· Ruiqi Wang, Dezhong Zhao, Xuesu Xiao, Erdem Biyik, Byung-Cheol Min, Guohua Chen·· 11 小时前AI 评分31
PrefO2O：通过离线到在线潜在偏好迁移实现零样本偏好强化学习
PrefO2O: Zero-Shot Preference-Based Reinforcement Learning via Offline-to-Online Latent Preference Transfer
AI 导读
PrefO2O 提出一种离线到在线潜在偏好迁移框架，可在无任何人类反馈的情况下对未见目标任务实现零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜在偏好空间，将可迁移偏好结构与任务特定变化解耦，并用置信度加权最优传输对齐生成伪偏好监督。在机器人操作与运动基准上，PrefO2O 显著优于现有偏好迁移基线，达到或超过使用真实人类反馈训练的 PbRL 方法。
正文 · AI 翻译
摘要：基于偏好的强化学习（PbRL）已成为一种有前景的范式，用于学习与人类意图对齐的机器人行为。然而，其可扩展性从根本上受限于需要为每个新任务收集昂贵的人类偏好标签。在本工作中，我们提出了 PrefO2O，一个离线到在线的潜在偏好迁移框架，能够在无需任何人类反馈的情况下对未见过的目标任务实现零样本 PbRL。其核心思想是从源任务上的少量离线偏好数据中学习一个任务不变的潜在偏好空间，在该空间中将可迁移的偏好结构与任务特定的变化解耦。这一学习到的流形使 PrefO2O 能够在分布偏移下将偏好结构和奖励先验迁移到新任务，同时置信度加权的最优传输对齐为在线奖励适应生成可靠的伪偏好监督。在机器人操作和运动基准上的大量实验表明，PrefO2O 显著优于现有的偏好迁移基线，并达到或超过使用真实人类反馈训练的 PbRL 方法，同时在多对一和一对一迁移设置以及不同机器人形态之间均能泛化。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31812 [cs.RO] |
| （或 arXiv:2610.31812v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31812 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruiqi Wang [查看邮箱]
[v1]
2026年10月22日 星期四 18:49:10 UTC（9,983 KB）
来源：arXiv cs.AI · arxiv.org