接口错配致工具调用评测分数失真

Wenbo Wang、Di Sang 发表研究，指出工具调用评测存在“接口诱导的轨迹审查”：模型输出与将其转换为动作的接口不匹配，会截断评测与训练信号。在 BFCL v4 部分子集上，仅更换服务适配器、保持模型权重不变，官方评分器分数即从 0.00 升至 simple_python 的 0.96、multi_turn_base 的 0.19。这意味着同一模型在不同接口下的得分差异可能来自接口而非模型能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。