arXiv cs.AI· Linhai Ma, Yan Wang, Lingfei Qian, Yupeng Cao, Victor Gutierrez Basulto·· 3 天前AI 评分32
工具调用参数校验中的推导鸿沟：LLM 评审器为何依赖参考文本
Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments
AI 导读
研究发现，LLM 工具调用评审器在输入中缺少参考文本时，会降低对正确参数值的接受率，这一现象被称为“推导鸿沟”，在包括 CLM 和 Jev 在内的全部七款评审器上均出现。
正文 · AI 翻译
摘要：工具调用评判器评估 LLM 智能体提出的参数值。我们发现，当其输入中不包含该值的参考依据，即没有任何文本说明该值应当是什么时，它们接受正确值的频率更低。这种情况发生在该值是函数 schema 中的默认值而用户未提及时，在需要推断时，或在其来源文本被从评判器输入中截去时。我们将这种接受率的下降称为推导差距。它出现在我们评估的全部七个评判器中，包括 System One 模型 CLM 和 Jev。这一差距不仅仅是截断造成的假象：在没有截断的基准测试中，正确的默认值具有最大的差距。一项受控的来源重定位测试表明，评判器会遵循其输入中的参考依据：它们更倾向于一个可见的错误值，而非一个来源被隐藏的正确值。我们提出 DeRef（Derived Reference）：一个单独的模型在不查看候选值的情况下读取完整历史，并为评判器撰写参考依据。在三个基准测试中，DeRef 提升了所有受测评判器的整体参数 AUROC。在受控测试中，它将 AUROC 从随机水平或更低提升至 98.40 到 99.59 之间。
| Comments: | 28 页，6 幅图，18 张表 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.18497 [cs.AI] |
| （或 arXiv:2610.18497v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18497 arXiv 颁发的 DOI，通过 DataCite（待注册） |
Submission history
来自：Linhai Ma [查看邮箱]
[v1]
2026年10月13日星期二 14:52:59 UTC（153 KB）
来源：arXiv cs.AI · arxiv.org