arXiv cs.AI· Anshul Nayak, Shahil Shaik, Jonathan Smereka, Yue Wang·· 11 小时前AI 评分29
基于理由引导的人类奖励建模：面向偏好强化学习的 PbRL 框架
Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning
AI 导读
一篇论文提出理由引导的偏好强化学习（PbRL）框架，从轨迹级反馈中学习人类奖励模型，除偏好标签外还引入解释行为为何被偏好的理由标签，使学到的奖励同时捕捉人类选择及其依据。相比仅用偏好的奖励学习，该形式提供额外监督以学习对齐人类的奖励，并提升策略可解释性。学习到的人类奖励在策略优化中与环境奖励结合，使智能体在提升任务表现的同时产生更可解释、更符合人类偏好且对偏好敏感的行为。
正文 · AI 翻译
摘要：针对任务奖励优化的强化学习（RL）策略可能产生高效但不符合人类期望、安全偏好或意图的行为。本文提出了一种基于理由引导的偏好强化学习（PbRL）框架，从轨迹级反馈中学习人类奖励模型。除偏好标签外，该框架还引入了说明为何偏好某一行为的理由标签，使学习到的奖励能够同时捕捉人类的选择及其背后的理由。与仅基于偏好的奖励学习相比，理由引导的表述为学习与人类对齐的奖励提供了额外监督，并提高了所得策略的可解释性。在策略优化过程中，学习到的人类奖励与环境奖励相结合，使智能体能够在提升任务表现的同时产生更具可解释性、更符合人类对齐且对偏好更敏感的行为
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23550 [cs.RO] |
| （或 arXiv:2610.23550v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23550 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anshul Nayak [查看邮箱]
[v1]
2026年10月16日星期五 14:41:13 UTC（1,329 KB）
来源：arXiv cs.AI · arxiv.org