arXiv cs.AI· Hongzhan Lin, Shidong Cao, Ziyang Luo, Wenhao Chai, Mong-Li Lee, Wynne Hsu·· 10 天前AI 评分38
从证据到行动:工具调用智能体为何失败
From Evidence to Action: How Tool-Using Agents Fail
AI 导读
研究揭示工具调用智能体在从判断是否行动到执行单步及依赖工作流的"证据-行动链"断裂点:在十种模型-框架配置中,静态动作评估强而交互执行弱,失败常始于执行前——调查不完整或证据未确立就行动。
正文 · AI 翻译
摘要:使用工具智能体会对外部状态产生实质性改变,但正确的结果并不能保证其行为有事先确立的证据支持。我们研究当智能体从决定是否行动转向执行单个动作和依赖工作流时,这条从证据到行动的链条在何处断裂。在十种模型-框架配置中,强大的静态动作评估可以与弱得多的交互式执行并存。失败往往在执行之前就已开始:智能体在调查不完整时停止,或在所需证据确立之前就采取行动。一旦获得所需证据,单个动作的执行通常是可靠的,而多动作工作流则额外暴露出未解决的前置条件和执行不完整的问题。为进行这一分析,我们引入了 SafeActBench,包含跨越六个操作领域和五种协议的 656 个案例,从静态动作判断和经调查的不作为,逐步推进到单动作和多动作工作流。一个来源绑定的证据账本和确定性轨迹评估器追踪了确立了哪些信息、动作何时发生,以及下游依赖是否得到满足。这些结果表明,失败不仅源于信息缺失,还源于智能体在决定和执行动作时如何使用已确立的证据。
| 评论: | 36 页。项目页面:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.07753 [cs.CL] |
| (或 arXiv:2610.07753v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.07753 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Lin Hongzhan [查看电子邮件]
[v1]
2026年10月6日星期二 04:50:29 UTC(3,665 KB)
来源:arXiv cs.AI · arxiv.org