跳到正文
热点事件持续更新

研究者提出When2Tool基准与Probe&Prefill方法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Chung-En Sun 等研究者提出 When2Tool 基准,用于评测 LLM 智能体判断何时需要调用工具,覆盖 18 个环境(15 个单跳、3 个多跳)。他们发现,工具必要性可在生成前从隐状态线性解码,六个模型上 AUROC 达 0.89–0.96,高于模型自身语言化推理的表现。 基于此,他们提出 Probe&Prefill 方法:用轻量线性探针加引导句预填充。据作者报告,该方法在所有测试模型上减少 38% 工具调用,仅损失 1.7% 准确率。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.CL
    LLM 智能体无需推理也能判断何时调用工具:When2Tool 基准与 Probe&Prefill 方法

    研究者提出 When2Tool 基准,覆盖 18 个环境(15 个单跳、3 个多跳),系统评测工具调用的必要性。探测发现工具必要性可从生成前隐状态线性解码,六个模型上 AUROC 达 0.89–0.96,远超模型自身语言化推理。基于此的 Probe&Prefill 用轻量线性探针加引导句预填充,在所有测试模型上减少 38% 工具调用,仅损失 1.7% 准确率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。