arXiv cs.CL· Giuseppe Curci, Stefano Simonazzi, Andrea Molinari, Andrea Zugarini·· 12 小时前AI 评分31
研究揭示 Delta Learning 假设的局限：DPO 单对生成器偏好数据存在系统性偏差
Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization
AI 导读
针对 DPO 的 delta-learning 假设，研究从理论与实验证明固定模型对会引入与回复质量无关、可预测偏好标签的生成器依赖偏差，导致单对数据训练的 DPO 持续逊于多模型偏好数据，即使大模型回复质量更高，并将差距归因于奖励黑客式的训练动态。增加生成器数量即使无外部评判模型也能部分缓解该效应，生成器多样性是偏好数据构建的关键因素。
正文 · AI 翻译
摘要：直接偏好优化（DPO）通常依赖于由多样化模型池生成、并由外部 LLM 评判器排序的偏好对。最近提出的 delta-learning 假设表明，通过将较大模型的回复视为偏好回复，可以从一对模型中获取可比的监督信号。我们在不同模型家族和规模上考察了该方法的局限性。我们从理论和实证两方面表明，固定模型对会引入系统性的、依赖于生成器的偏差，这些偏差对偏好标签具有预测性，且与回复质量无关。因此，尽管较大的生成器能产生更高质量的回复，在单对数据上训练的 DPO 始终不如多模型偏好数据，我们将这一差距追溯到与在这些偏差上进行奖励黑客攻击相一致的训练动态。我们进一步表明，即使没有外部评判器，仅增加生成器数量也足以部分缓解这一效应。我们的结果凸显了生成器多样性是偏好数据构建中的关键因素。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37058 [cs.LG] |
| （或 arXiv:2610.37058v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37058 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Giuseppe Curci [查看邮箱]
[v1]
2026年10月27日星期二 11:24:50 UTC（4,289 KB）
来源：arXiv cs.CL · arxiv.org