研究者提出ξ-DPO偏好优化方法

Zhengyuan Fan等作者提出ξ-DPO，将偏好优化目标从最大化奖励差距的似然改为最小化奖励差距与最优边际的距离。 该方法用chosen与rejected的比率形式重新定义奖励，作者称这能抵消β的影响，得到有界、可解释的比率奖励边际ξ。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。