arXiv cs.CL· Srinivasan Iyengar·· 11 小时前AI 评分38
SPLIT：在不完美验证器下如何分配推理时计算——采样、混合还是验证？
Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers
AI 导读
研究者提出 SPLIT，用少量标注试点数据规划推理时预算，决定采样数量、模型选择与验证开销，其核心是给出 accept/reject 与 top-score 选择下提交正确答案概率的精确公式，并考虑任务难度差异、模型共享盲区与验证器调用相关性。
正文 · AI 翻译
摘要：让语言模型和智能体更准确的一种常见做法是在推理时投入更多算力：生成大量候选解，并提交验证器更偏好的那一个。成功需要满足两个条件：某个候选解是正确的，并且验证器选中了它。第一个条件随样本数量可预测地增长；第二个则不然，因为真实验证器（单元测试、多数投票、LLM 评判器、奖励模型）会接受错误答案、拒绝正确答案，并犯下相关错误。在固定预算下，实践者必须决定抽取多少样本、从哪些模型抽取，以及在验证上花费多少，而如今这些选择都靠经验法则做出。我们提出 SPLIT，它基于一个小规模带标签的试点来做出这些选择。它建立在一个精确公式之上，该公式给出在接受/拒绝和最高分选择下提交正确答案的概率，并考虑了任务难度的变化、模型间共享的盲点以及相关的重复验证器调用。SPLIT 通过经验贝叶斯拟合该公式，并用它在未见任务上规划预算。在涵盖数学、科学问答、代码和软件工程智能体的七个基准、26 个模型、175 个智能体系统和六类真实验证器（均来自公开发布）上，SPLIT 与事后最优分配相差 0.02-0.8 个百分点，而我们测试的每条固定规则在某些设置下至少损失 2.5 个百分点。遗憾值仅取决于 SPLIT 对配置排序的好坏，并且在算力、价格和延迟成本下以及在线场景中保持接近最优。该公式还解释了何时增加 LLM 评判器会降低精确率。作为远超试点的预测器，当验证器限制成功率时，SPLIT 优于幂律拟合，我们也报告了它失效的情形。
| 评论： | 27 页（18 页正文 + 附录），14 张图，11 张表。代码将发布 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6；I.2.7；G.3 |
| 引用为： | arXiv:2610.23255 [cs.LG] |
| （或本版本的 arXiv:2610.23255v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.23255 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Srinivasan Iyengar [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 10:28:07 UTC（577 KB）
来源：arXiv cs.CL · arxiv.org