arXiv cs.CY· Gayane Ghazaryan, Esra D\"onmez·· 11 小时前AI 评分39
更强的奖励模型未必偏见更少：超越标准奖励基准的社会对齐评估
Better Reward Models Are Not Always Less Biased: Social Alignment Beyond Standard Reward Benchmarks
AI 导读
研究将奖励模型评估扩展到偏见、安全、道德与伦理推理四个社会性领域，发现标准基准上的高分可能掩盖社会行为的重要差异。模型在规避部分刻板印象的同时会强化另一些，聚合偏见分数会掩盖这种相反倾向；更强的刻板印象规避还可能以牺牲上下文忠实性为代价。在广泛奖励模型集合上，标准基准表现与社会对齐行为仅呈不一致关联。
正文 · AI 翻译
摘要：奖励模型是 LLM 对齐的核心，然而当前的基准测试几乎无法揭示它们如何表示多样且有时相互竞争的社会偏好。我们将奖励模型评估扩展到四个具有社会影响的领域：偏见、安全、道德和伦理推理。我们的分析表明，强劲的基准表现可能掩盖社会行为上的重要差异。模型可能避免某些刻板印象，同时强化另一些刻板印象，而聚合的偏见分数可能掩盖这些相反的倾向。我们还发现，更强的刻板印象规避可能以牺牲上下文忠实度为代价，这揭示了社会偏见缓解与对上下文的敏感性之间的权衡。在广泛的奖励模型集合中，标准基准表现与社会对齐行为之间仅存在不一致的关联。这些结果表明，更强的奖励模型并非在应对多元社会期望方面普遍更优，并促使我们更直接地评估奖励模型中编码的社会偏好。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2605.05003 [cs.CL] |
| （或 arXiv:2605.05003v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.05003 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Esra Dönmez [查看电子邮件]
[v1]
2026年5月6日星期三 15:04:23 UTC（8,599 KB）
[v2]
2026年10月23日星期五 15:12:30 UTC（6,152 KB）
来源：arXiv cs.CY · arxiv.org