跳到正文
热点事件持续更新

多工具检索结构对比:单次调用完成率不足一成

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Shuyang Zhang 等人发表论文,在 AppWorld 的 345 条查询和 MCP-Bench 的 103 个任务(涉及 257 个 MCP 工具)上比较了六类工具检索结构:扁平词法与稠密检索、LLM 查询分解、LLM 导航层级、先服务器后工具匹配、依赖图,以及训练过的集合级检索器。 结果显示,未在测试集上训练、且每查询最多调用一次 LLM 的结构,在 k=16 时完成率均不足 10%。这一结果衡量的是多工具请求下检索结构的完整性与成本,并不代表这些结构在其他设定下的效果。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv cs.CL
    LLM 智能体多工具请求中检索结构的完整性与成本对比

    研究对比六类工具检索结构在 AppWorld 345 条查询和 MCP-Bench 103 个任务(257 个 MCP 工具)上的表现,发现未在测试集训练且每查询最多一次 LLM 调用的结构在 k=16 时完成率均不足 10%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。