arXiv cs.CL· Chung-En Sun, Linbo Liu, Ge Yan, Zimo Wang, Tsui-Wei Weng·· 11 小时前AI 评分31
LLM 智能体无需推理也能判断何时调用工具：When2Tool 基准与 Probe&Prefill 方法
LLM Agents Already Know When to Call Tools -- Even Without Reasoning
AI 导读
研究者提出 When2Tool 基准，覆盖 18 个环境（15 个单跳、3 个多跳），系统评测工具调用的必要性。探测发现工具必要性可从生成前隐状态线性解码，六个模型上 AUROC 达 0.89–0.96，远超模型自身语言化推理。基于此的 Probe&Prefill 用轻量线性探针加引导句预填充，在所有测试模型上减少 38% 工具调用，仅损失 1.7% 准确率。
正文 · AI 翻译
摘要：工具增强型 LLM 智能体倾向于不加区分地调用工具，即使模型可以直接回答。每一次不必要的调用都会浪费 API 费用并增加延迟，然而现有基准尚未系统研究何时真正需要调用工具。我们提出 When2Tool，这是一个包含 18 个环境（15 个单跳、3 个多跳）的基准，涵盖工具必要性的三大类别——计算规模、知识边界和执行可靠性——每个环境都设有受控的难度级别，在需要工具和不需要工具的任务之间形成清晰的决策边界。我们评估了两类免训练基线：仅提示（Prompt-only，通过改变提示来抑制不必要的调用）和先推理后行动（Reason-then-Act，要求模型在行动前推理工具必要性）。两者提供的控制都有限：仅提示在抑制不必要调用的同时也抑制了必要调用，而先推理后行动在困难任务上仍会带来不成比例的准确率损失。为了理解这些基线为何失败，我们探查了模型的隐藏状态，发现工具必要性可以从生成前的表示中线性解码，在六个模型上 AUROC 为 0.89–0.96，显著超过模型自身口头表达的推理。这表明模型已经知道何时需要工具，但在生成过程中未能据此行动。基于这一发现，我们提出 Probe&Prefill，它使用轻量级线性探针读取隐藏状态信号，并用一句引导语预填充模型的回复。在所有测试的模型上，Probe&Prefill 将工具调用减少了 38\%，而准确率仅损失 1.7\%，而在相当准确率下最佳基线仅减少 6% 的工具调用，或实现类似的工具调用减少但带来 5$\times$ 更高的准确率损失。我们的代码可在 此 https URL 获取
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.09252 [cs.CL] |
| （或 arXiv:2605.09252v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.09252 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chung En Sun [查看邮箱]
[v1]
2026 年 5 月 10 日周日 01:37:40 UTC（686 KB）
[v2]
2026 年 5 月 20 日周三 19:57:19 UTC（679 KB）
[v3]
2026 年 11 月 4 日周三 03:01:20 UTC（681 KB）
来源：arXiv cs.CL · arxiv.org