arXiv cs.AI· Jiawei Guo, Donglei Yu, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Qinghao Wang, Minpeng Liao·· 10 小时前AI 评分55
工具本身还是工具使用？追踪多模态智能体的能力增益
With Tools or Because of Tools? Tracing Capability Gains in Multimodal Agents
AI 导读
论文研究 Thyme 和 DeepEyesV2 两个“thinking with images”智能体，在真实世界理解、OCR、图表理解和数学推理任务上分别与无工具版本及纯文本推理器对比，发现工具接入带来的整体提升并不稳定，也未可靠降低生成 token 成本。
正文 · AI 翻译
摘要：工具增强的多模态智能体在基准测试中表现出显著提升，这常被视为智能体已学会使用工具的证据。我们认为这一解读可能为时过早：仅凭工具调用轨迹无法说明工具是否提供了对答案至关重要的信息。我们研究了两个具有代表性的“用图像思考”智能体，Thyme 和 DeepEyesV2，涵盖真实世界理解、OCR、图表理解和数学推理。每个智能体都与无工具版本以及纯文本推理器进行了比较，后者从相同的源池中训练，但不包含工具调用轨迹。工具访问带来的总体提升很小且不一致，不能可靠地降低生成 token 成本，并且仅留下一个很小的仅靠工具解决的问题集：DeepEyesV2 由工具解决的问题中有 93%、Thyme 中有 96% 也能由至少一种非工具设置解决。机制消融进一步表明，完整的工具使用循环并不一致地优于仅工具调用格式或仅返回的执行结果。在我们研究的设置中，所分析的智能体似乎更可靠地学会了工具调用模式，而非工具所贡献的能力，这表明评估应区分工具的可用性与工具是否真正扩展了智能体所能解决的问题。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.02357 [cs.CV] |
| （或 arXiv:2606.02357v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.02357 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiawei Guo [查看邮箱]
[v1]
2026年6月1日星期一 15:04:25 UTC（1,002 KB）
[v2]
2026年8月27日星期四 10:57:33 UTC（1,002 KB）
[v3]
2026年11月10日星期二 05:14:31 UTC（1,002 KB）
来源：arXiv cs.AI · arxiv.org