LLM Function-Calling 的不确定性量化评估

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）正越来越多地被部署用于自主解决现实世界任务。其中的一个关键要素是 LLM 函数调用范式，这是一种被广泛用于为 LLM 赋予工具使用能力的方法。然而，LLM 错误地调用函数可能会带来严重后果，尤其是当这些调用的效果不可逆时，例如转账或删除数据。因此，在执行函数调用之前，考虑 LLM 对该调用能否正确解决任务的置信度至关重要。不确定性量化（UQ）方法可用于量化这种置信度，并防止可能错误的函数调用。在这项工作中，据我们所知，我们首次对用于 LLM 函数调用（FC）的 UQ 方法进行了评估。尽管多样本 UQ 方法（如语义熵）在自然语言问答任务中表现出色，但我们发现在 FC 场景中，我们评估的基于熵的多样本方法相较于简单的单样本 UQ 方法并未提供明显优势。此外，我们发现可以利用 FC 输出的特殊性来提升现有 UQ 方法在该场景下的性能。具体而言，多样本 UQ 方法受益于基于抽象语法树解析对 FC 输出进行聚类；而对于单样本 UQ 方法，将基于 logit 的分数限制在语义上有意义的 token 上，几乎不改变区分能力，但能改善校准，并以较小幅度提升弃权情况下该分数的效用。

提交历史

来自：Adam Goliński [查看邮箱]
[v1] 2026年4月24日星期五 19:56:39 UTC（1,192 KB）
[v2] 2026年10月30日星期五 23:08:24 UTC（434 KB）