arXiv cs.CL· Lecheng Kong, Like Hui, Haitao Mao, Jun Huan·· 11 小时前AI 评分34
Consilience：面向无验证器测试时扩展的置信度轨迹选择框架
Consilience for Verifier-Free Test-Time Scaling
AI 导读
论文提出 consilience 框架，用于无验证器测试时扩展（VF-TTS），指出仅按置信度排序的现有方法在复杂任务上会灾难性失效——初始置信度普遍偏高往往意味着探索失败、偏向"自信的错误答案"。该框架通过组合指标惩罚高初始置信度、严格要求最终确定性，在研究生级数学题与自由形式代码生成实验中优于现有基线，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：测试时扩展通常使用外部验证器（例如编程中的编译器和测试用例，或机器人应用中的训练价值函数）来获得高质量的 rollout。无验证器的测试时扩展（或称 VF-TTS）作为一种增强大语言模型（LLM）推理能力的机制正受到广泛关注，主要原因是我们在许多现实应用中无法获得如此高质量的验证器。在现有的 VF-TTS 方法中，基于置信度的 VF-TTS 方法尤其有前景，这类方法仅依据置信度来计算和排序 rollout。此类方法为样本评估引入的开销几乎为零，并且对内部模型状态的访问需求极少，使得这些方法在模型和任务之间具有高度灵活性。
在本文中，我们展示了现有基于置信度的 VF-TTS 方法的一个关键局限，表明此类方法在复杂任务上会灾难性地失效。我们观察到一个非常有趣的现象：一致的高置信度往往表明探索失败，偏向于自信但错误的答案。为解决这一问题，我们的核心洞见是：稳健的认知搜索需要一种特定的置信度轨迹模式——此类方法在开始时进行探索性分支，表现为较低的初始置信度，并收敛到高最终置信度的解。为实现这一洞见，我们引入了 consilience，一种新颖的选择框架，显式评估推理中置信度的时间不对称性。我们通过一个组合指标将其付诸实践，该指标主动惩罚高初始置信度，同时严格要求最终确定性。涵盖研究生水平数学问题和自由形式代码生成的大量实验表明，consilience 有效优于现有基线，验证了我们关于完成置信度的新视角。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.09898 [cs.CL] |
| （或本版本的 arXiv:2608.09898v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.09898 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 发表于 NeurIPS 2026 |
提交历史
来自：Lecheng Kong [查看邮箱]
[v1]
2026年8月10日星期一 17:45:44 UTC（291 KB）
[v2]
2026年10月30日星期五 18:08:17 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org