arXiv cs.AI· Zhengyuan Fan, Zhonghua Wu, Yuxuan Du, Qun Chen·· 14 小时前AI 评分27
ξ-DPO：通过比率奖励边际改进直接偏好优化
$\xi$-DPO: Direct Preference Optimization via Ratio Reward Margin
AI 导读
研究者提出 ξ-DPO，将偏好优化目标从最大化奖励差距似然改为最小化奖励差距与最优边际的距离，并用 chosen 与 rejected 的比率形式重新定义奖励，从而抵消 β 的影响、得到有界可解释的比率奖励边际 ξ。
正文 · AI 翻译
摘要：无参考偏好优化已成为一种高效替代人类反馈强化学习的方法，其中简单偏好优化（SimPO）通过一个简单的目标消除了显式参考模型，展现出强劲的性能。然而，SimPO 中超参数 $\beta$ 和 $\gamma$ 的联合调优仍是一个核心难题。我们认为，这一困难源于 SimPO 中的间隔公式在具有不同奖励差距结构的数据集上不易解释。为更好地理解这一问题，我们对 SimPO 进行了全面分析，发现 $\beta$ 并非仅仅作为奖励缩放因子，而主要起到过滤噪声样本的作用；同时，SimPO 定义的奖励间隔 $\gamma$ 在语义上并未与显式扩大所选与拒绝响应之间的奖励差距良好对齐。受这些观察启发，我们提出 $\xi$-DPO：通过比率奖励间隔的直接偏好优化。我们首先通过等价变换重新表述偏好目标，将优化目标从最大化奖励差距的似然转变为最小化奖励差距与最优间隔之间的距离。然后，我们以所选与拒绝之间的比率形式重新定义奖励，这有效抵消了 $\beta$ 的影响，并产生一个有界且可解释的间隔。该间隔称为比率奖励间隔，记为 $\xi$。与 SimPO 中的 $\beta$ 和 $\gamma$ 不同，$\xi$ 可由初始奖励差距分布确定，因此更易于调优。我们的大量实验结果表明，$\xi$-DPO 在多个评估指标上于开放基准中显著优于现有的偏好优化方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.10981 [cs.LG] |
| （或 arXiv:2605.10981v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10981 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhengyuan Fan [查看邮箱]
[v1]
2026年5月9日星期六 03:48:16 UTC（361 KB）
[v2]
2026年10月24日星期六 12:03:18 UTC（374 KB）
来源：arXiv cs.AI · arxiv.org