arXiv cs.CL· Manh Nguyen, Sunil Gupta, Hung Le·· 9 天前AI 评分25
UAB：面向自适应测试时推理的不确定性感知预算分配
Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning
AI 导读
研究者提出不确定性感知预算分配（UAB），一种凹整数优化框架，用初始采样得到的投票熵作为难度信号，将固定采样预算重新分配。在五个开源模型（1.5B–27B 参数）和五个推理基准上，UAB 相比均匀分配平均准确率提升 +2.3%，单项基准最高提升 +5.5%，低资源场景收益最大，且无需辅助模型或额外 LLM 调用。
正文 · AI 翻译
摘要：采样多个回复可以提升语言模型的推理能力，但统一的计算分配效率低下，因为简单问题被过度采样，而困难问题仍未得到充分探索。我们提出 \textbf{不确定性感知预算分配（UAB）}，这是一个凹整数优化框架，利用从初始样本本身估计的不确定性来重新分配固定的采样预算。在第一阶段，每个问题获得少量固定的生成次数。其答案分歧通过投票熵衡量，提供了难度信号，同时这些生成结果也计入最终投票。在第二阶段，剩余预算通过边际贪心算法进行分配，该算法最优地求解一个凹覆盖最大化替代目标，将样本集中在初始答案存在分歧的问题上。在五个开放权重模型（1.5B--27B 参数）和五个难度各异的推理基准上，UAB 相比统一分配将平均准确率提升了 $+2.3\%$，在单个基准上最高提升 $+5.5\%$，且在低资源设置下提升最大。此外，UAB 恰好满足目标预算，且不需要辅助模型或额外的 LLM 调用。代码公开于 this https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.26849 [cs.CL] |
| （或 arXiv:2605.26849v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.26849 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Manh Nguyen [查看邮箱]
[v1]
2026年5月26日星期二 11:06:58 UTC（212 KB）
[v2]
2026年10月8日星期四 10:48:35 UTC（180 KB）
来源：arXiv cs.CL · arxiv.org