arXiv cs.AI· Weida Liang, Kenji Kawaguchi·· 2 天前AI 评分22
面向评估器引导测试时推理的置信度校准推理扩展
Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning
AI 导读
研究将评估器引导推理建模为计算感知的三动作控制器，在信任当前答案、回退与继续扩展之间做选择，并按预测答案成功率与基于 rollout 的延续成功代理打分，显式计入计算成本。在留出的宽度扩展与修订任务上，该控制器相比校准选定的固定策略提升了观测效用，同时将归一化在线计算量分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上，两种设置的计算量均低于拟合 Q，效用差异较小且方向不一。
正文 · AI 翻译
摘要：评估器引导的推理在每一步都呈现一个局部控制问题：信任当前答案、返回回退方案，还是投入更多推理。我们将这一选择形式化为一个计算感知的三动作控制器，通过预测的答案成功率对终止动作打分，并通过基于 rollout 的延续成功代理对扩展动作打分，同时显式计入计算成本。局部动作差距分析刻画了分数误差何时会改变决策，而期望遗憾界则考虑了实际扩展路径上的误差。在此分析指导下，我们学习并校准动作特定的置信度估计，并对模糊决策施加局部不确定性惩罚。在留出的宽度扩展和修订任务上，该控制器相比经校准选择的固定策略提升了观测效用，同时将归一化在线计算量分别减少约 30% 和 16%。在四个 Qwen3-8B 随机种子下，两种设置中的计算量均低于拟合 Q，而效用差异较小且方向不一。这些结果将评估器引导的推理视为不确定性下的资源分配，而非一个普遍更强的推理器。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.20836 [cs.AI] |
| （或 arXiv:2610.20836v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20836 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Weida Liang [查看邮箱]
[v1]
2026年10月14日星期三 19:25:23 UTC（115 KB）
来源：arXiv cs.AI · arxiv.org