arXiv cs.AI· Dhruv Puri, Nikhil Prakash·· 11 小时前AI 评分36
奖励模型中的涌现性错位：压缩先行，内容定夺
Compression Precedes, Content Decides: Emergent Misalignment in Reward Models
AI 导读
研究者对 Skywork-Reward-V2-Llama-3.1-8B 和 Skywork-Reward-V2-Qwen3-8B 两个奖励模型做窄域有害偏好微调，发现在医疗或金融单一领域偏好伤害会泛化到七个留出领域，且并非模型退化——RM-Llama 在 RewardBench 2 上仅下降 4.8 分和 5.3 分，仍优于未修改的 RM-Qwen。
正文 · AI 翻译
摘要：涌现性错位——即狭窄的有害微调在域外泛化的现象，最早由 Betley 等人 [2025] 提出——已在语言模型中得到广泛研究，但尚未在监督这些语言模型的奖励模型中得到研究。本文中，我们对两个最先进的奖励模型 Skywork-Reward-V2-Llama-3.1-8B 和 Skywork-Reward-V2-Qwen3-8B [Liu et al., 2025] 进行微调，并表明将奖励模型狭窄地微调为在某一领域（医疗或金融）偏好有害内容，会泛化到七个留出领域。这并非退化，因为微调后的奖励模型在标准 RewardBench 2 评估 [Malik et al., 2025] 上总体仅分别下降 4.8 和 5.3 分（RM-Llama），同时仍优于未修改的 RM-Qwen 模型。随后，我们使用 DPO [Rafailov et al., 2023] 和 SFT 在同一数据上微调底层语言模型 Llama-3.1-8B-Instruct 和 Qwen3-8B。我们发现，与对应的语言模型相比，奖励模型更容易受到偏好反转的影响。接着我们提出一个问题：这些奖励模型是如何实现这种偏好反转的？从机制上看，发生了两件事，且可定位到最后一个/被评分的 token。第一，健全响应和有害响应的表示中发生了几何压缩，减小了它们之间的夹角。第二是内容特定的：有害表示相对于标量头的旋转角度小于健全表示，从而使有害内容获得更高的奖励。这仅发生在有害偏好微调中，而在对照中不会发生。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22805 [cs.AI] |
| （或 arXiv:2610.22805v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22805 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dhruv Puri [查看邮箱]
[v1]
2026年10月16日星期五 01:31:52 UTC（830 KB）
来源：arXiv cs.AI · arxiv.org