arXiv cs.AI· Wenbo Wang, Di Sang·· 12 小时前AI 评分47
接口诱导的轨迹审查：工具调用评测中的模型与接口错配问题
Interface-Induced Trajectory Censoring
AI 导读
研究揭示工具调用评测中的“接口诱导轨迹审查”现象：在 BFCL v4 部分子集上，仅更换服务适配器、保持模型权重不变，官方评分器分数即从 0.00 升至 simple_python 的 0.96、multi_turn_base 的 0.19。
正文 · AI 翻译
摘要：工具使用评估通常通过服务栈来统计调用次数，而即使模型输出中包含调用形式的载荷，服务栈也可能报告零次调用。我们研究了接口导致的轨迹截断：模型输出与将其转换为动作的接口之间的不匹配。在选定的 BFCL v4 子集上，仅更换服务适配器，同时保持模型权重和其他评估设置不变，官方评分器给出的分数在 simple_python 上从 0.00 变为 0.96，在 multi_turn_base 上从 0.00 变为 0.19。模板-解析器析因实验显示出很强的互补性：单独替换任一组件都无法从基线恢复解析，而联合替换可恢复 196/200 个首次请求解析。在五个 Qwen2.5-Coder 检查点上，分类器判定为正的输出随模型规模增大而增加，而不匹配的接口报告零次调用；一个单独的匹配接口 Qwen3 阶梯在 8B 以内几乎没有静默输出。在 115 个 tau-bench 零售任务上的实验将该机制扩展到有状态、非代码环境。在一项预注册、单种子、150 步的 7B LoRA 实验中，仅更换 verl 中注册的解析器即可将工具执行次数从 10 增加到 16,844。然而，无论是共享的程序化反馈评估，还是事后通用的原生函数调用评估，都未检测到修复带来的留出集成功增益；救援计数没有增加。因此，在此设置下，接口修复恢复了工具介导的经验，但未检测到性能增益。这些发现表明，工具使用测量依赖于模型-接口配置，并促使在将评估或训练结果单独归因于模型之前，进行逐层可观测性和一致性检查。
| 评论： | 39 页，正文 14 页。代码、数据和预注册：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.03966 [cs.AI] |
| （或此版本的 arXiv:2609.03966v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.03966 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wenbo Wang [查看邮箱]
[v1]
2026 年 9 月 3 日星期四 15:00:31 UTC（478 KB）
[v2]
2026 年 10 月 21 日星期三 03:29:24 UTC（469 KB）
[v3]
2026 年 10 月 22 日星期四 02:09:49 UTC（469 KB）
来源：arXiv cs.AI · arxiv.org