arXiv cs.AI· Erhan Xu, Kai Ye, Hongyi Zhou, Luhan Zhu, Francesco Quinzan, Chengchun Shi·· 2 天前AI 评分26
面向大语言模型的双重稳健对齐算法
Doubly Robust Alignment for Large Language Models
AI 导读
针对 RLHF 中偏好模型、参考策略或奖励函数易被错误设定导致微调效果不佳的问题，研究者提出一种双重稳健偏好优化算法，只要偏好模型或参考策略其中之一被正确设定即可保持一致性，无需两者同时正确。该算法在理论与实践中均表现出优于现有 SOTA 算法的性能和稳健性，代码已公开，论文被 NeurIPS 2025 接收。
正文 · AI 翻译
摘要：本文研究了基于人类反馈的强化学习（RLHF），用于使大语言模型与人类偏好对齐。尽管 RLHF 已展现出良好效果，但许多算法对底层偏好模型（如 Bradley-Terry 模型）、参考策略或奖励函数的错误设定高度敏感，从而导致不理想的微调结果。为解决模型错误设定问题，我们提出了一种双重稳健的偏好优化算法，当偏好模型或参考策略中任一者被正确设定时（无需两者同时正确），该算法仍保持一致性。我们的方案在理论和实践中均展现出优于最先进算法的性能和更强的稳健性。代码可在 此 https URL 获取
| 评论： | 被 NeurIPS 2025 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2506.01183 [cs.LG] |
| （或 arXiv:2506.01183v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.01183 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Erhan Xu [查看邮箱]
[v1]
2025 年 6 月 1 日周日 21:34:37 UTC（973 KB）
[v2]
2025 年 10 月 28 日周二 20:58:26 UTC（1,018 KB）
[v3]
2026 年 10 月 27 日周二 08:23:56 UTC（1,003 KB）
来源：arXiv cs.AI · arxiv.org