arXiv cs.CL· Taro Yano, Yoichi Ishibashi, Masafumi Oyamada·· 3 天前AI 评分24
尾部竞争如何解释 Best-of-N 采样在可验证问题上的扩展规律
Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems
AI 导读
研究将 Best-of-N 采样建模为正确答案与错误答案奖励尾部的竞争，用极值理论刻画了正确尾部主导、错误尾部主导和临界三种渐近机制，可同时解释单调增益与奖励黑客导致的性能退化。
正文 · AI 翻译
摘要：Best-of-N 采样是一种面向大语言模型的简单推理时扩展策略，但其在不完整奖励模型下的行为仍鲜为人知。我们将 Best-of-N 视为正确与错误响应的极端奖励尾部之间的竞争。这一视角表明，成功不仅取决于采样到正确响应的概率，还取决于正确响应在上尾中是否压过错误响应。利用极值理论，我们刻画了三种渐近情形：正确尾部主导、错误尾部主导和临界情形，从而同时解释了单调增益和奖励黑客导致的性能退化。我们进一步推导了代表性奖励分布下的有限样本缩放律，表明在高斯奖励下，方差足够大的错误响应即使平均奖励较低，也可能主导选择。与预言机选择不同，使用不完整选择器时的收敛可能是多项式而非指数级的。最后，我们提出了一种轻量级的尾部张力准则，用于估计额外采样何时可能变得有害。在合成数据和真实奖励模型分数上的实验与理论预测的情形、缩放律和诊断行为一致，表明尾部竞争为可验证问题的 Best-of-N 采样提供了一个统一的视角。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19362 [cs.CL] |
| （或 arXiv:2610.19362v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19362 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Taro Yano [查看电子邮件]
[v1]
2026年10月14日星期三 01:09:16 UTC（4,185 KB）
来源：arXiv cs.CL · arxiv.org