Apple研究给出KL预算下对齐增益上限

Apple 研究团队发表论文，推导出固定 KL 散度预算下 KL 正则化对齐可实现的最大期望奖励增益，并给出闭式解：该上限由 Jeffreys 散度项决定，而非此前分析使用的 √KL。 该结果可改写为基座模型下的协方差形式，研究称仅凭基座模型样本即可预测对齐增益。在代理奖励设定下，理想对齐与代理对齐的差距（reward hacking）随奖励误差增大和 KL 惩罚系数减小而扩大，奖励集成可缓解该问题。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。