arXiv cs.AI· Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feizi·· 11 小时前AI 评分42
LLM 工具使用的“知易行难”：模型自适应工具必要性研究
Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use
AI 导读
研究提出基于各模型实际表现的工具必要性定义，在四个模型上对比算术与事实问答任务，发现工具调用行为与真实必要性错配率达 26.5-54.0% 和 30.8-41.8%。通过探测隐藏状态，模型对“是否需要工具”的认知信号与执行动作信号在末层近乎正交，多数错配集中在认知到行动的转换环节而非认知本身。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地充当自主智能体，必须决定何时直接回答、何时调用外部工具。以往研究自适应工具使用的工作大多将工具必要性视为与模型无关的属性，由人类或 LLM 评判者标注，且大多覆盖答案显而易见的情形（例如获取天气信息与改写文本）。然而，现实中的工具必要性更为微妙，因为不同模型的能力边界存在差异：一个强模型能独立解决的问题，对较弱模型而言可能仍需要工具。在本工作中，我们引入一种基于每个模型经验表现的、模型自适应的工具必要性定义。依据该定义，我们在算术和事实问答数据集上，对四个模型比较了必要性与观测到的工具调用行为，分别发现 26.5-54.0% 和 30.8-41.8% 的显著不匹配。为诊断这一失败，我们将工具使用分解为两个阶段：反映模型是否认为工具必要的内部认知阶段，以及决定模型是否实际执行工具调用动作的执行阶段。通过探测 LLM 隐藏状态，我们发现两种信号通常都可线性解码，但在驱动下一 token 动作的深层、末 token 情形下，它们的探测方向几乎正交。通过追踪样本在两阶段过程中的轨迹，我们进一步发现，大多数不匹配集中在从认知到动作的转换环节，而非认知本身。这些结果揭示了 LLM 工具使用中的知行之差：提升工具使用可靠性不仅需要更好地识别何时需要工具，还需要更好地将这种识别转化为行动。
| 评论： | NeurIPS 2026 相机就绪版 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.14038 [cs.AI] |
| （或 arXiv:2605.14038v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.14038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yize Cheng [查看邮箱]
[v1]
2026年5月13日星期三 18:59:28 UTC（1,009 KB）
[v2]
2026年5月17日星期日 15:23:37 UTC（1,010 KB）
[v3]
2026年10月22日星期四 19:13:29 UTC（2,397 KB）
来源：arXiv cs.AI · arxiv.org