arXiv cs.AI· Yubing Wu, Wei Chen, Junmei Yang, Delu Zeng, Tiewen Pan·· 12 小时前AI 评分29
DPO 计算图的随机剪枝：训练提速 1.4 倍并降低峰值内存
Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory
AI 导读
研究者提出 DPO 计算图的随机剪枝框架，在打分、序列执行和偏好分支反向传播前分别独立采样响应位置、响应前缀和偏好分支，从而跳过各阶段计算。分支剪枝相比拼接式 DPO 基线实现 1.426 倍单步提速，在两个模型族上训练时间较原生 DPO 减少约 30%，但平均准确率略降、开放式评分随基准变化。位置与序列剪枝主要降低峰值内存。
正文 · AI 翻译
摘要：直接偏好优化（DPO）在输出打分、序列执行和反向传播方面都会产生训练开销，因此仅减少监督并不一定能节省计算。我们提出了一个统一框架，用于对 DPO 计算图进行随机剪枝，该框架独立地对用于打分的响应位置、用于执行的响应前缀以及用于反向传播的偏好分支进行采样。通过在相应操作之前完成这些选择，该框架在训练步骤的每个阶段都省略了计算。我们的分析刻画了位置剪枝和序列剪枝所导致的目标变化，并使用逆概率加权，为采样目标获得了一个条件无偏的单分支梯度估计器。受控测量表明，位置剪枝和序列剪枝主要降低峰值内存，而输出内存的大部分节省可归因于一种保留完整响应监督的实现。与拼接式 DPO 基线相比，分支剪枝带来了 $1.426\times$ 的步时加速，并在两个模型系列上相对于原版 DPO 将训练时间减少了约 30\%，同时平均准确率略有下降，开放式评分则出现随基准而变的变化。这些发现将随机图剪枝的资源收益与所省略的计算以及由此产生的训练目标变化联系起来。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29538 [cs.LG] |
| （或 arXiv:2610.29538v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29538 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yubing Wu [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 10:25:15 UTC（191 KB）
来源：arXiv cs.AI · arxiv.org