Latency-Aware Adaptive Best-of-N：面向在线服务的延迟感知自适应采样方法

查看 PDF HTML（实验性）

摘要：测试时计算（TTC）通过在推理时投入额外计算来提升语言模型的响应质量，而合适的计算量取决于提示词。自适应 TTC 方法根据响应质量的信号（如观测到的奖励）来分配计算量，通常是在信号超过固定阈值时停止，并且一般以生成次数或 token 数来衡量成本。但在在线服务中，延迟也是一种成本：它随服务器负载增长，因此使用固定阈值的方法在生成快时计算量过少，在生成慢时计算量过多。对于广泛使用的 TTC 方法 Best-of-$N$ 采样，我们提出一种两阶段自适应算法：先抽取初始批次，然后利用观测到的奖励和该批次的延迟，通过比较预期改进与预测成本来决定是否抽取第二批以及第二批的大小：当第一批的最佳奖励低于一个随第一批延迟降低的阈值时，就抽取第二批，而无需显式测量服务器负载。我们将每个奖励映射到该提示词奖励分布的累积分布函数（CDF）下的取值，从而使相同的权衡参数可跨任务复用；在其他提示词上离线拟合的回归模型预测第一批最佳奖励的 CDF 值的分布，从而以闭式形式给出预期改进。我们在基于偏好的对齐基准上通过仿真评估该方法，以生成等价成本（生成次数加延迟，折算为生成次数）为度量。该方法以更低的生成等价成本达到 Best-of-$N$ 的奖励，并且以实测的第一批延迟为条件，节省的成本至少与固定阈值（延迟无关）基线相当；当延迟高度可变、延迟随批次大小增长、以及第二批延迟可由第一批高度预测时，节省更多。

学科：	计算与语言（cs.CL）；机器学习（cs.LG）
引用为：	arXiv:2611.07453 [cs.CL]
	（或 arXiv:2611.07453v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.07453 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Alon Jacobson [查看邮箱]
[v1] 2026年11月5日星期四 04:56:16 UTC（1,186 KB）