arXiv cs.AI· Raghu Venkat, Tricha Anjali·· 3 天前AI 评分27
受控置信度分数能否判断 Text-to-SQL 答案正确？基于 BIRD 与 Spider 的探索性研究
Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider
AI 导读
一项研究审计了生产级对话分析系统中置信度分数的设计，该系统用 GPT-5.1 在 BIRD dev 的 1,534 道题上作答，每題采样五次，发现设计分数区分对错的 AUROC 仅 0.624，并会扣留 35.7% 的正确答案。
正文 · AI 翻译
摘要：对话式分析让人们能够对分散在众多系统中的记录提问，并以自然语言获得答案；只有当每个答案都可被信任和解释时，它才有用。这类生产系统会为其在数据库上写出的每个答案附加一个置信度分数，并据此展示答案、带警告地展示答案，或不予展示。该分数的权重、上限和阈值是设计设定的。本文对该设计进行审计。在 BIRD dev 的 1,534 个问题上，由 GPT-5.1 使用经基准适配的生产提示词作答，每个问题五个样本，设计分数对正确与错误答案的区分能力较弱（AUROC 0.624，95% CI 0.595-0.652），并扣留了 35.7% 的正确答案。其几乎全部的排序信号来自样本间的一致性，而其中大部分信号在一致性通过取最小值与一份检查清单相结合时丢失——只要存在任何无依据的断言（包括评论中的断言），该清单就会降为零。我们冻结了一条规则，其中与所示答案的一致性即为分数，确定性检查充当否决和上限，并在任何 Spider 答案存在之前，预先注册了一项在 Spider dev 上的测试。主要假设成立：AUROC 从 0.566 升至 0.725（配对差异 +0.159，95% CI +0.097 至 +0.221），被扣留的正确答案从 49.0% 降至 8.8%，PASS 准确率为 95.7%。在一种匹配策略下，一致性统计量的选择影响甚微；增益来自一致性如何进入分数。新增检查是否有帮助取决于正确性如何定义，而它们总是以无条件的覆盖率为代价。一项预先注册的空结果检查在 Spider 上未达到其效应量标准。此处的正确性指核心答案；标签由模型判定，一项尚未完成的盲法双人审计将在修订版中报告。
| 评论： | 23 页，4 幅图，9 张表。代码、冻结评分器、预注册和数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | H.2.3；I.2.7 |
| 引用为： | arXiv:2610.17256 [cs.AI] |
| （或 arXiv:2610.17256v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17256 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
发件人：Raghu Venkat [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 18:14:43 UTC（35 KB）
来源：arXiv cs.AI · arxiv.org