arXiv cs.AI· Hannan Mahadik, David Salinas, Jacek Golebiowski, Aaron Klein·· 11 小时前AI 评分29
DPO 超参数景观研究：该测什么、如何随规模变化、何时不可迁移
The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It
AI 导读
一项针对 DPO 超参数景观的大规模实验发现，最优学习率随模型规模变化，且超参数无法跨训练数据集迁移。验证损失是超参数优化的糟糕代理指标，最小化验证损失的超参数与下游基准最优超参数仅弱相关，因此 DPO 超参数需针对目标模型、数据集和评估目标单独调优。短程候选训练可显著降低这一选择成本，全部训练配置与评估结果已公开。
正文 · AI 翻译
摘要：直接偏好优化（DPO）被广泛用于语言模型的后训练，但其性能在很大程度上取决于超参数的选择，例如学习率和参考策略正则化参数 $\beta$。为了更好地理解 DPO 的超参数分布情况，我们使用密集的超参数网格，在同一模型系列的不同模型规模上开展了大量实验。这使我们能够分析最优 DPO 超参数如何随模型规模和更新步数演变，而中间检查点则提供了低成本的信号，用以加速超参数优化过程。此外，通过在静态和动态基准上评估我们的模型，我们确定了哪些基准能为超参数选择提供最强的信号。最后，我们研究了不同的最先进超参数优化策略在此设置下的表现。我们的实验表明，最优学习率随模型规模而变化，且超参数无法跨训练数据集迁移。我们还发现，验证损失是超参数优化的糟糕替代指标，因为使验证损失最小的超参数与下游基准的最优超参数仅存在弱相关。因此，DPO 超参数需要针对目标模型、数据集和评估目标专门调优。我们还表明，短时间的候选训练运行可以大幅降低这种选择的成本。我们公开了所有训练配置和评估结果，以支持对选择质量和训练成本的可复现分析。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27895 [cs.LG] |
| （或 arXiv:2610.27895v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27895 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hannan Mahadik [查看电子邮件]
[v1]
2026年10月20日星期二 09:14:22 UTC（3,829 KB）
来源：arXiv cs.AI · arxiv.org