arXiv cs.CL· Cheng Gui, Yihua Shao, Lei Li, Jingcai Guo, Maolin Wang·· 12 小时前AI 评分24
尾部校准揭示 Best-of-N 选择中的有限预算奖励攻击
Whether or Where? Tail Calibration Signals Finite-Budget Reward Hacking in Best-of-N Selection
AI 导读
研究证明 Best-of-N（BoN）推理的精确值可表示为条件真实奖励在提示内分数分位数上的 Beta 加权积分，因此 BoN 仅通过排名依赖分数，且只有在尾部校准曲线向下弯时才会下降。在真实候选池上，尾部失效罕见且全部出现在代码生成任务中；一个留出的尾部校准统计量能可靠预测交叉拟合预算上限在何处有帮助，效果与排名准确率相当，并与 Soft-BoN 基线具有竞争力。
正文 · AI 翻译
摘要：Best-of-N（BoN）推理返回代理奖励最高的候选，因此更大的 $N$ 更多检验的是代理奖励的极端尾部，而非其平均排序质量。我们证明，精确的 BoN 值是在提示内分数分位数上对条件真实奖励的 Beta 加权积分。由此可知，BoN 仅通过分数的排名依赖于分数。还可知，BoN 只有在尾部校准曲线向下转折时才会下降，而下降出现的预算取决于该转折所在的位置。在有界加性模型下，误差尾部决定极限：高斯误差持续改善，拉普拉斯误差达到平台，重尾误差回归先验均值。当误差方差在低真实奖励处最大时，即使高斯噪声也能使 BoN 低于随机选择。合成相位图与该分类一致。在跨越多个可验证领域、基础策略和学习奖励模型的真实候选池上，尾部失败很少见，且全部出现在代码生成中。一个留出的尾部校准统计量能可靠预测交叉拟合预算上限在何处有帮助。它的表现与排名准确率大致相当，且该上限与 Soft-BoN 基线相比具有竞争力。因此，尾部校准不能替代排名指标。它是一种审计，不受奖励分数任何单调重缩放的影响，并显示哪些预算处于风险之中。
| 评论： | 28 页，3 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34375 [cs.LG] |
| （或 arXiv:2610.34375v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.34375 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cheng Gui [查看邮箱]
[v1]
2026 年 10 月 25 日星期日 15:33:23 UTC（124 KB）
来源：arXiv cs.CL · arxiv.org