arXiv cs.AI· Manith Adikari, Bei Peng, Samuele Vinanzi, Angelo Cangelosi·· 3 天前AI 评分24
LEMUR：用偏好反馈的多目标强化学习实现对齐
LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback
AI 导读
LEMUR 是一个从多个人类偏好反馈中交互式学习最优多目标策略的框架，可同时学习策略与多个目标专属奖励模型，让智能体在学习过程中平衡相互竞争的目标。该方法在多种多目标基准任务上性能优于基线，为无需预定义奖励函数的多目标决策任务提供了新方向。
正文 · AI 翻译
摘要：强化学习（RL）系统通常使用单一且明确指定的标量奖励函数进行训练。然而，现实世界的决策任务往往涉及多个相互竞争的目标，例如性能与效率，而真实奖励函数难以指定或无法获取。虽然多目标强化学习（MORL）通过将奖励建模为向量来应对此类权衡，但现有方法通常假设每个目标都有明确指定的奖励函数，因而继承了单目标强化学习所面临的相同挑战。与此同时，基于偏好的强化学习（PbRL）已展现出巨大潜力，能够通过从人类反馈中学习奖励，在无需预定义奖励函数的情况下解决复杂任务，但此前主要在单目标场景下进行研究。在本工作中，我们通过 LEMUR：Learning to Align with Multi-Objective Reinforcement Learning with Preference feedback 弥合了这一差距，这是一个新颖的框架，其中智能体通过交互式地从多个人类的偏好中学习，以学习最优的多目标策略。我们的方法从人类反馈中联合学习策略和多个目标特定的奖励模型，使智能体能够在学习过程中有效平衡相互竞争的目标。我们在多种基准多目标任务上评估了 LEMUR，实证结果表明其性能优于基线方法。我们的方法为解决无需预定义奖励函数的多目标决策任务提供了一个有前景的方向。
| 主题： | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2607.29559 [cs.AI] |
| （或 arXiv:2607.29559v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.29559 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Manith Adikari [查看电子邮件]
[v1]
2026年7月31日星期五 15:50:29 UTC（3,376 KB）
[v2]
2026年10月12日星期一 11:10:18 UTC（4,295 KB）
来源：arXiv cs.AI · arxiv.org