arXiv cs.AI· Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Simon Fu, Narmeen Oozeer·· 10 天前AI 评分28
打破镜像：基于激活引导缓解 LLM 评估器中的自我偏好偏差
Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators
AI 导读
研究提出用轻量级引导向量在推理时缓解 LLM 评估器的自我偏好偏差，无需重新训练，可将不合理的自我偏好降低最多 97%，显著优于提示词和直接偏好优化基线。团队构建了区分合理与不合理自我偏好的数据集，并用对比激活添加（CAA）和基于优化的两种方法构造引导向量。但引导向量在合理自我偏好和无偏一致场景下表现不稳定，表明该偏差可能跨越多个或非线性方向。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用作自动评估器，但它们存在“自我偏好偏差”：倾向于偏爱自己的输出而非其他模型的输出。这种偏差损害了评估流程的公平性和可靠性，尤其是在偏好调优和模型路由等任务中。我们研究轻量级引导向量能否在推理时无需重新训练即可缓解这一问题。我们引入了一个精心构建的数据集，将自我偏好偏差区分为合理的自我偏好示例和不合理的自我偏好示例，并使用两种方法构建引导向量：对比激活添加（CAA）和基于优化的方法。我们的结果表明，引导向量可将不合理的自我偏好偏差降低最多 97\%，显著优于提示和直接偏好优化基线。然而，引导向量在合理的自我偏好和无偏一致性上表现不稳定，这意味着自我偏好跨越多个或非线性方向。这既凸显了它们作为 LLM 作为评判者的保障措施的前景，也凸显了其局限性，并推动更稳健的干预措施。
| 评论： | 发表于 {Mechanistic Interpretability, Evaluations, Reliable-ML} Workshops, NeurIPS 2025 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.03647 [cs.CL] |
| （或 arXiv:2509.03647v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.03647 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Daniel Roytburg [查看电子邮件]
[v1]
2025年9月3日星期三 18:52:55 UTC（176 KB）
[v2]
2026年6月22日星期一 18:38:14 UTC（241 KB）
[v3]
2026年10月5日星期一 22:52:55 UTC（241 KB）
来源：arXiv cs.AI · arxiv.org