arXiv cs.AI· Fady Rezk, Yuangang Pan, Chuan-Sheng Foo, Xun Xu, Nancy Chen, Henry Gouk, Timothy Hospedales·· 11 小时前AI 评分34
个性化对齐中的奖励模型选择危机：RM 准确率无法预测部署表现
The Reward Model Selection Crisis in Personalized Alignment
AI 导读
研究发现奖励模型（RM）的偏好排序准确率无法预测个性化对齐的部署效果，上游 RM 准确率与下游策略准确率仅呈弱相关（Kendall's tau = 0.08–0.31）。
正文 · AI 翻译
摘要：基于偏好数据的个性化对齐主要关注提升个人奖励模型（RM）的准确率，隐含假设是更好的偏好排序能转化为更好的个性化行为。然而在实际部署中，计算约束使得推理时适配（如奖励引导解码，RGD）成为必要，而非针对每个用户微调策略。这产生了一个关键但被忽视的要求：奖励模型不仅要准确排序偏好，还要有效引导生成。我们证明，标准 RM 准确率作为面向部署的个性化奖励选择标准会灾难性地失效。我们引入策略准确率这一指标，量化经 RGD 适配的 LLM 能否正确区分偏好与非偏好回复，并表明上游 RM 准确率与下游策略准确率仅呈弱相关（Kendall's tau = 0.08--0.31）。更关键的是，我们引入 Pref-LaMP，这是首个带有真实用户补全的个性化对齐基准，可实现直接的行为评估。在 Pref-LaMP 上，我们揭示了判别式排序与生成指标之间的完全解耦：RM 准确率相差 20 点的方法产生的输出质量几乎相同，而排序准确率高的方法可能无法生成行为对齐的回复。这些发现表明，该领域一直在优化无法预测部署性能的代理指标，且当前的个性化对齐方法在现实部署约束下无法将偏好转化为行为适配。相反，我们发现简单的上下文学习（ICL）非常有效——在参数量 $\geq$3B 的模型上优于所有奖励引导方法，在 7B 规模上相比最佳奖励方法取得约 3 点 ROUGE-1 提升。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2512.23067 [cs.AI] |
| （或 arXiv:2512.23067v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2512.23067 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fady Rezk [查看邮箱]
[v1]
2025年12月28日 周日 20:27:15 UTC（310 KB）
[v2]
2026年1月7日 周三 20:10:03 UTC（301 KB）
[v3]
2026年10月20日 周二 11:28:28 UTC（326 KB）
来源：arXiv cs.AI · arxiv.org