arXiv cs.AI· Seyed Amir Hosseini, Maryam Abdolali, Amirhosein Tavakkoli, Fardin Ayar, Ehsan Javanmardi, Manabu Tsukada, Mahdi Javanmardi·· 9 天前AI 评分25
TriTrust-PBRL：面向多专家反馈的鲁棒偏好强化学习框架
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
AI 导读
TriTrust-PBRL（TTP）通过联合学习共享奖励模型与专家专属信任参数，让信任参数在梯度优化中自动演化为正值（信任）、近零（忽略）或负值（翻转），从而反转对抗性偏好而非直接丢弃。
正文 · AI 翻译
摘要：基于偏好的强化学习（PBRL）通过从成对轨迹比较中学习，为显式奖励工程提供了一种有前景的替代方案。然而，现实世界中的偏好数据往往来自可靠性各异的异构标注者：有些准确，有些带有噪声，还有些系统性地对抗。现有的 PBRL 方法要么同等对待所有反馈，要么试图过滤掉不可靠来源，但当面对系统性地提供错误偏好的对抗性标注者时，这两种方法都会失效。我们提出 TriTrust-PBRL（TTP），一个统一框架，能够从多专家偏好反馈中联合学习共享奖励模型和专家特定的信任参数。关键洞见在于，信任参数在基于梯度的优化过程中会自然演化为正值（信任）、接近零（忽略）或负值（翻转），使模型能够自动反转对抗性偏好并恢复有用信号，而不仅仅是丢弃被污染的反馈。我们提供了理论分析，建立了可识别性保证，并给出了详细的梯度分析，解释了专家分离如何在训练过程中无需显式监督而自然出现。在实证方面，我们在涵盖操作任务（MetaWorld）和运动控制（DM Control）的四个不同领域上，在各种污染场景下评估了 TTP。TTP 实现了最先进的鲁棒性，在对抗性污染下保持接近 oracle 的性能，而标准 PBRL 方法则灾难性地失败。值得注意的是，TTP 通过成功地从同时包含可靠和对抗性标注者的混合专家池中学习，超越了现有基线，同时除了识别索引之外不需要任何专家特征，并且能够无缝集成到现有 PBRL 流程中。
| 评论： | 同等贡献：Seyed Amir Hosseini 和 Maryam Abdolali。通讯作者：Maryam Abdolali（this http URL@kntu.this http URL） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.18751 [cs.LG] |
| （或 arXiv:2601.18751v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.18751 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Maryam Abdolali [查看电子邮件]
[v1]
2026年1月26日星期一 18:21:48 UTC（2,759 KB）
[v2]
2026年10月8日星期四 06:36:15 UTC（2,142 KB）
来源：arXiv cs.AI · arxiv.org