跳到正文
arXiv cs.AI· Khushal Sethi·· 4 小时前AI 评分31

一致性不等于纠错:拆解 LLM 智能体的置信度、弃答与恢复

Consistency Is Not Correction: Separating Confidence, Abstention, and Recovery in LLM Agents

AI 导读

研究将 LLM 智能体的置信度信号拆为排序、选择性预测与纠错效用三个互不蕴含的目标,并给出纠错效用的精确分解:门控恢复减去门控伤害。在 840 回合受控实验中,没有任何验证器在 60 个 GSM8K 决策上替换原提案,使该对比实际未检验任何机制;小模型套件中扰动一致性验证器达到策略内 AUROC 0.990,但每次结果与单样本解码一致,调用次数为 4.32 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:一个对答案重新采样、升级到更大模型或弃答的控制器,通常由置信度信号来支撑其合理性。关于这种信号的三个论断并不能相互推出:它能对答案排序(区分能力),它支持对其中一些答案不予给出(选择性预测),以及它能把答案改得更好(纠正效用)。我们给出第三个论断的精确分解,即门控恢复减去门控损害,这在比较运行之前就界定了该比较能否成功:一个只替换提案的门控只能作用于基础策略已经出错的地方,因此初始错误数限制了任何正确门控所能产生的非一致对的数量。当该上限低于配对检验所需的数量时,实验既无法为有效机制返回阳性结果,也无法将其与从未触发的门控区分开。我们在两个模型规模上测量了全部三个目标,发现该界限确实起作用。在一个小模型套件中,一个扰动一致性验证器达到策略内 AUROC 0.990(95% 区间 [0.95, 1.00]),而每个回合的结果都与单样本解码一致,调用次数却是后者的 4.32 倍。在一项受控的 840 回合研究中,没有任何验证器在 60 个 GSM8K 决策中的任何一个上替换了提案,因此该比较没有检验任何东西;六个控制器在 GSM8K 上的全部增益来自一个任务,而正是该任务在相同的温度零重复下出现了不一致,使其成为服务无法复现的那个答案。在诊断集上,门控最多只能达到四个错误,而检验需要六个,因此即使是一个完美的门控也没有可用的显著结果。我们报告了两项本可在花费任何预算之前就发现这一点的检查,并表明排序中的并列处理、并列选择截断值以及不等的输出限制,各自都会在同一数据集上改变一个头条数字。这一文献的约束性限制是测量分辨率,而不是信号的选择。
主题: 计算与语言(cs.CL);人工智能(cs.AI);多智能体系统(cs.MA)
引用为: arXiv:2611.21651 [cs.CL]
  (或本版本的 arXiv:2611.21651v1 [cs.CL])
  https://doi.org/10.48550/arXiv.2611.21651

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Khushal Sethi [查看电子邮件]
[v1] 2026年10月15日星期四 05:55:30 UTC(61 KB)

来源:arXiv cs.AI · arxiv.org