arXiv cs.AI· Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi·· 6 天前AI 评分26
超越成对比较：语言模型正在隐式优化偏好图——GraphDPO 提出图结构偏好优化
Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph
AI 导读
研究者提出 GraphDPO，将 DPO 从成对比较推广到有向无环偏好图，通过图结构的 Plackett-Luce 目标聚合支配邻域监督，并保留 DPO 作为特例。该方法用等价类构造处理并列与不可比回复，缺失边贡献零损失，每提示复杂度保持线性，并可选插入已验证解作为支配节点配合退火调度稳定训练。在推理与程序合成任务上表现优于成对及列表式对齐目标。
正文 · AI 翻译
摘要：直接偏好优化（DPO）利用成对偏好比较来对齐语言模型，为基于人类反馈的强化学习（RL）提供了一种简单而有效的替代方案。然而，在许多实际场景中，训练数据包含每个提示的多次 rollout，从而产生丰富的偏好结构，而成对 DPO 无法加以利用。将此类数据折叠为独立对会丢弃传递性，引入冗余或冲突的监督，并可能导致优化不稳定。我们提出图直接偏好优化（GraphDPO），这是 DPO 的一种结构化推广，在有向无环偏好图上运行，该图由 rollout 排序诱导产生。GraphDPO 将支配关系编码为边，并优化一种图结构的、受 Plackett--Luce 启发的目标函数，该函数在被支配邻域上聚合监督，传播输入偏好的传递结构，同时将标准 DPO 作为特例恢复。GraphDPO 通过等价类构造自然地处理并列和不可比较的响应：具有相同偏好信号的响应构成图层，不可比较的响应共享一层且无边，缺失的边贡献零损失，从而避免严格全序目标所产生的虚假梯度。在这种分层构造下，GraphDPO 通过高效的 log-sum-exp 聚合保持每个提示的线性复杂度。我们进一步引入可选的 ground-truth 锚定，将已验证的解答作为支配节点插入，并应用退火调度，在稳定早期训练的同时逐步放松 oracle 监督。在推理和程序合成任务上的实验表明其性能更优，说明图结构偏好建模是成对和 listwise 对齐目标的一种可扩展且稳健的替代方案。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.08037 [cs.LG] |
| （或 arXiv:2605.08037v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.08037 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ning Liu [查看邮箱]
[v1]
2026年5月8日星期五 17:26:14 UTC（167 KB）
[v2]
2026年10月8日星期四 18:14:25 UTC（183 KB）
来源：arXiv cs.AI · arxiv.org