语言模型对齐的理论极限：KL 预算下奖励提升的信息论边界
Theoretical Limits of Language Model Alignment
研究推导出固定 KL 散度预算下 KL 正则化对齐可实现的最大期望奖励增益，其闭式解由 Jeffreys 散度项决定，而非此前分析使用的 √KL。该结果可改写为基座模型下的协方差形式，仅凭基座模型样本即可预测对齐增益；在代理奖励设定下，理想对齐与代理对齐的差距（reward hacking）随奖励误差增大和 KL 惩罚系数减小而扩大，奖励集成可缓解该问题。
作者Lucas Monteiro Paes*、Natalie Mackraz*、Barry-John Theobald、Federico Danieli
语言模型（LM）对齐可改善模型输出以反映人类偏好，同时保留基座模型的能力。最常见的对齐方法是（i）强化学习，即在 KL 散度约束下最大化期望奖励，以及（ii）best-of-N 对齐，即从 N 个独立样本中选择奖励最高的输出。尽管这些方法被广泛使用，但在 KL 预算下奖励提升的基本极限仍鲜为人知。我们通过推导在固定 KL 散度预算下可实现的最大期望奖励增益，刻画了 KL 正则化对齐的信息论极限。我们的第一个结果给出了最优奖励改进的闭式表达式，该表达式由 Jeffreys 散度项决定，而非先前分析中使用的 √KL。我们进一步将该表达式重新表述为基座模型下的协方差，从而得到一种仅凭基座模型样本即可预测可实现对齐增益的实用估计器。我们将分析扩展到代理奖励设定，表明理想对齐与代理对齐之间的差距（奖励黑客）会随着奖励误差幅度的增大以及 KL 惩罚因子的减小而增大。随后我们证明奖励集成可缓解奖励黑客，为这一实践中使用的技术提供了理论依据。在实证方面，我们计算了语言模型在安全性和摘要两项任务上的 KL–奖励帕累托前沿，并表明 best-of-N 紧密接近理论极限，而 PPO 和 GRPO 仍显著次优。我们的理论结果揭示了对齐文献中若干经实证观察到的现象，并表明需要算法改进才能在不产生高推理成本的情况下实现最优对齐。
- * 同等贡献
相关阅读与更新。
本文已被 NeurIPS 2024 的现代机器学习微调（FITML）研讨会接收。
在大语言模型（LLM）开发中，基于人类反馈的强化学习（RLHF）对于使模型与人类价值观和偏好对齐至关重要。RLHF 传统上依赖当前策略与冻结的初始策略之间的 Kullback-Leibler（KL）散度作为参考，并将其作为惩罚项加入策略……
基于人类反馈的强化学习（RLHF）是一种使语言模型与人类偏好对齐的有效方法。RLHF 的核心是学习一个用于对人类偏好打分的奖励函数。学习奖励模型的两种主要方法是：1）如 RLHF 中那样训练一个显式奖励模型，以及 2）使用通过直接偏好优化（DPO）等方法从偏好数据中学习到的隐式奖励。先前工作已表明……
来源：Apple Machine Learning Research · machinelearning.apple.com