arXiv cs.CL· Shuo Lin, Jinzhe Li, Chenlu Guo, Yanhan Li, Yuan Wu, Yi Chang·· 2 天前AI 评分36
PremiseSQL：评估 Text-to-SQL 系统中的前提批判与拒答能力
PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems
AI 导读
研究者提出 PremiseSQL 基准，包含 1800 条存在前提缺陷的 NL2SQL 查询及对应的 1800 条原始查询，覆盖四类前提失败，用于评估模型识别缺陷查询并拒绝生成误导性 SQL 的能力。实验显示，前沿 LLM 默认高度信任前提、很少批判缺陷前提；强化批判导向的提示词虽能提升检测与拒答，但也会增加误判无效并抑制对原始查询的 SQL 生成。
正文 · AI 翻译
摘要：大语言模型（LLM）的最新进展大幅提升了 Text-to-SQL 的性能，但现有的 NL2SQL 系统大多假设用户查询是有效且可回答的。因此，模型即使面对前提有缺陷的查询，也往往会生成可执行的 SQL。我们在 NL2SQL 中引入前提批判能力，即识别有缺陷查询并拒绝生成误导性 SQL 的能力。为评估这一能力，我们提出了 PremiseSQL，一个包含 1,800 条有缺陷 NL2SQL 查询的基准，涵盖四类前提失败，并配有对应的 1,800 条原始查询。我们进一步设计了一个评估框架，在三种提示设置下衡量内在的和提示诱导的前提感知行为。对前沿 LLM 的实验表明，当前模型默认强烈信任前提，很少批判有缺陷的前提。更强的批判导向提示能提升对有缺陷查询的检测和拒答，但也会增加误判为无效的情况，并抑制对原始查询的 SQL 生成。代码见 此 https URL。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22158 [cs.CL] |
| （或 arXiv:2610.22158v1 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.22158 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shuo Lin [查看邮箱]
[v1]
2026年10月15日星期四 16:23:17 UTC（3,196 KB）
来源：arXiv cs.CL · arxiv.org