arXiv cs.AI· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 2 天前AI 评分27
CleanRM：用少量干净反馈为 RLHF 噪声反馈做奖励建模
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
AI 导读
CleanRM 通过少量干净反馈，借助最优传输校准逐样本噪声比例，并用噪声校正代理损失训练奖励模型，理论上证明其目标对干净风险无偏。实验显示，CleanRM 优于当前最先进的去噪基线，并能带来更有效的下游 RLHF 对齐。
正文 · AI 翻译
摘要：偏好数据中普遍存在反馈噪声，其来源包括主观的人类判断、标注错误以及不完美的 LLM 评判器。在此类反馈上训练的标准奖励建模会得到对干净风险的有偏估计。尽管经典去噪方法可直接应用于噪声反馈学习，但它们通常假设各样本的噪声比例一致。然而，这一假设对反馈数据并不成立，因为噪声本质上是逐样本的。为应对这一挑战，我们提出 CleanRM，它利用少量干净反馈，通过最优传输来校准逐样本噪声比例。具体而言，CleanRM 将从噪声反馈中还原出的偏好联合分布与干净反馈的联合分布对齐，然后使用噪声校正后的替代损失训练奖励模型。在理论上，我们证明所得目标相对于干净风险是无偏的。大量实验表明，CleanRM 优于最先进的去噪基线，并能带来更有效的下游 RLHF 对齐。
| 学科： | 人工智能（cs.AI）；机器学习（stat.ML） |
| 引用格式： | arXiv:2610.21138 [cs.AI] |
| （或本版本使用 arXiv:2610.21138v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.21138 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Licheng Pan [查看邮箱]
[v1]
2026年10月15日星期四 02:49:51 UTC（343 KB）
来源：arXiv cs.AI · arxiv.org