跳到正文
arXiv cs.AI· Xingzi Xu, Mehmet Saygin Seyfioglu, Karim Bouyarmane·· 4 小时前AI 评分31

大语言模型对齐的 margin 动力学:DPO、IPO 与 SimPO 的理论分析

Margin Dynamics for Large Language Model Alignment

AI 导读

研究者为 LLM 对齐方法提供理论框架:每种成对方法在概率单纯形上定义向量场,投影到单个偏好/非偏好对后化为有闭式解的 margin ODE。闭式解显示 DPO 的 margin 以 O(log t) 无界增长,IPO 收敛到有限值 1/(2τ),标签噪声使 DPO 出现从无界到有界的相变而仅定量影响 IPO。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从业者选择 LLM 对齐方法时,很大程度上依赖试错。我们提供了一个理论基础:每种成对方法都在概率单纯形上定义一个向量场,该向量场支配模型如何在偏好补全与非偏好补全之间重新分配概率质量。投影到单个偏好/非偏好对上,可将其简化为具有闭式解的一维 margin ODE。这些解揭示:DPO 的 margin 无界增长(在梯度流极限下按 $O(\log t)$ 对数增长),而 IPO 的 margin 收敛到有限的 $1/(2\tau)$;标签噪声会在 DPO 中引发定性相变(无界 $\to$ 有界),但对 IPO 仅产生定量影响;非对称加权下的梯度集中决定了大规模下的可训练性。我们在涵盖四个基准的五个模型家族上验证了全部三项预测。闭式解还支持有原则的方法设计:我们证明,向 SimPO 添加任意标签平滑 $\varepsilon > 0$ 会在 $\Delta^* = \beta^{-1}\log((1-\varepsilon)/\varepsilon)$ 处产生有限 margin 吸引子,而 $\varepsilon = 0$(标准 SimPO)没有吸引子。我们在三个模型(8B-9B)上测试并确认了这一预测:理论推导出的配置(TPO-S,$\varepsilon = 0.05$)与最强基线相比具有竞争力,在三个模型上均取得了所比较方法中最高的平均 IFEval 分数,验证了预测的有限吸引子是一个可用的工作点,而非提出新的最先进损失。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.21766 [cs.LG]
  (或 arXiv:2611.21766v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21766

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xingzi Xu 博士 [查看电子邮件]
[v1] 2026年11月16日星期一 19:02:17 UTC(96 KB)

来源:arXiv cs.AI · arxiv.org