arXiv cs.CL· Zhongyin Wang, Zhaoqian Xue, Junting Mu, Haozheng Liu, Ye Yuan, Haolun Wu, Lingyao Li·· 14 小时前AI 评分34
在预算约束下截断推理：将 System-1 模型作为决策者进行评估
Truncated Reasoning Under a Budget: Evaluating System-1 Models as Decision-Makers
AI 导读
研究将 Jev 作为截断推理的决策读取器，在七个 LLM 推理模型与五个多选题基准的 35 组组合上评估，在 500 至 16,000 token 预算下平均准确率均高于强制作答。
正文 · AI 翻译
摘要：大型语言模型（LLM）常常生成超出所需的推理 token。限制推理预算可以降低成本，但从不完整的推理轨迹中强行给出答案会损害准确率。System-1 决策模型在候选选项中进行选择，而不产生推理响应。我们在七个 LLM 推理器和五个多项选择基准（35 对）上评估 Jev 作为截断推理的决策读取器。在 500 至 16,000 token 的测试预算下，包括推理和回答的估算成本，Jev 的平均准确率高于强制回答。在 1,500 token 预算下，其总体准确率提升 4.1 个百分点，在截断问题上提升 8.6 个百分点，在 Holm 校正的 bootstrap 检验下，有 17 对取得显著提升。离线回放估计为完整运行成本的 34.5%，准确率损失 1.13 个百分点。在训练折上选择的策略在留出折上节省了估计完整运行成本的 71.3%，准确率损失 0.58 个百分点。我们还发现，Jev 表现出很强的仅问题准确率，平均超过 500 token 的强制回答（68.0% 对 65.5%），尽管这一优势因基准而异。这些发现表明，System-1 决策模型可以补充 LLM 推理，并减少对昂贵推理完成的需求。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.25768 [cs.CL] |
| （或 arXiv:2610.25768v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.25768 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhongyin Wang [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 04:29:19 UTC（270 KB）
[v2]
2026 年 10 月 24 日星期六 17:52:18 UTC（270 KB）
来源：arXiv cs.CL · arxiv.org