arXiv cs.AI· Hao Wang, Haocheng Yang, Licheng Pan, Lei Shen, Xiaoxi Li, Yinuo Wang, Zhichao Chen, Yuan Lu, Haoxuan Li, Zhouchen Lin·· 10 天前AI 评分27
ImplicitRM：从隐式反馈学习无偏奖励模型用于 LLM 对齐
Unbiased Reward Modeling from Implicit Feedback for LLM Alignment
AI 导读
针对隐式反馈缺乏明确负样本且存在选择偏差的问题，研究者提出 ImplicitRM，通过分层模型将训练样本划分为四个潜在组，并推导出理论上无偏的似然最大化目标，从而学习无偏奖励模型。实验在不同 LLM 骨干和基准数据集上验证，ImplicitRM 能从隐式反馈中学到准确奖励模型并提升下游 RLHF 任务表现。该工作已被 ICML 2026 接收。
正文 · AI 翻译
摘要：尽管基于人类反馈的强化学习（RLHF）取得了成功，但现有的奖励建模方法在很大程度上依赖于显式反馈，而显式反馈的收集成本高昂且难以扩展。本文研究隐式奖励建模，即从隐式用户反馈（如点击、复制和跳过）中学习奖励模型。隐式反馈虽然可扩展且成本效益高，但带来了两个关键挑战：它缺乏明确的负样本，这使得标准的正负分类方法不再适用；它存在选择偏差，即不同回复引发反馈的倾向各异，这进一步模糊了明确的负样本。为应对这些挑战，我们提出了 ImplicitRM，它从隐式反馈中学习无偏的奖励模型。它使用分层模型将训练样本分为四个潜在组，并推导出一个理论上无偏的似然最大化目标，从而同时解决这两个挑战。在多种 LLM 主干网络和基准数据集上的实验验证了 ImplicitRM 能够从隐式反馈中学习到准确的奖励模型，并提升下游 RLHF 任务的性能。
| 评论： | 被 ICML 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；应用（stat.AP） |
| 引用为： | arXiv:2603.23184 [cs.CL] |
| （或 arXiv:2603.23184v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.23184 arXiv 颁发的 DOI，通过 DataCite |
|
| 期刊 参考： | ICML 2026 |
提交历史
来自：Hao Wang [查看邮箱]
[v1]
2026年3月24日星期二 13:32:14 UTC（1,090 KB）
[v2]
2026年10月6日星期二 12:34:07 UTC（447 KB）
来源：arXiv cs.AI · arxiv.org