arXiv cs.AI· Tianlong Nan, Xiaopeng Li, Christian Kroer, Tianyi Lin·· 11 小时前AI 评分26
ENPO：面向迭代式 Nash 偏好优化的高效探索方法
Efficient Exploration for Iterative Nash Preference Optimization
AI 导读
研究提出 Exploratory Nash Preference Optimization（ENPO），通过结合 SFT 类正则化与对抗性策略探索，消除了标准迭代 NLHF 对逆 KL 正则化参数的指数依赖，且无需 minimax oracle 或显式偏好模型估计。
正文 · AI 翻译
摘要：偏好对齐是提升大语言模型（LLM）的核心环节，但当人类偏好不满足传递性时，基于奖励的建模方式会受到限制。基于人类反馈的纳什学习（NLHF）通过将对齐建模为偏好博弈并寻求纳什均衡来解决这一局限。然而，可扩展 NLHF 的学习理论基础仍然有限：现有的遗憾保证依赖于显式的偏好模型估计和极小极大预言机，而更简单的迭代方法缺乏此类保证。我们研究在线迭代 NLHF，并指出探索是关键障碍。首先，我们证明标准迭代 NLHF 可能对逆 KL 正则化参数产生指数级依赖，表明通过策略更新实现的隐式探索可能不足。随后我们提出探索性纳什偏好优化（ENPO），它将 SFT 型正则化与对抗性策略探索相结合。ENPO 消除了这种指数级依赖，且无需极小极大预言机或显式的偏好模型估计。我们进一步提出 Bonus-Explorer ENPO（BENPO），它利用额外的预言机实现 $O(\log T)$ 的遗憾界。最后，我们开发了 Direct ENPO（DENPO），这是 ENPO 用于微调 LLM 的实用变体。使用 Llama-3-8B-Instruct 的实验表明，在多个基准上，该方法相较于所评估的 RLHF 和 NLHF 基线均取得了一致提升。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.01382 [cs.LG] |
| （或 arXiv:2606.01382v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.01382 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tianlong Nan [查看邮箱]
[v1]
2026年5月31日 周日 18:11:26 UTC（93 KB）
[v2]
2026年10月2日 周五 10:57:59 UTC（94 KB）
[v3]
2026年10月23日 周五 09:59:10 UTC（94 KB）
来源：arXiv cs.AI · arxiv.org