跳到正文
arXiv cs.AI· Hangle Hu, Chenyu Hou, Bin Cao, Jing Fan, Wei Luo·· 10 小时前AI 评分31

语言模型在自然语言数据查询中的决策覆盖问题:UDC 与 GCG 诊断协议

Asking but Missing: Decision Coverage in Natural-Language Data Querying

AI 导读

研究提出 Underspecified Decision Completion(UDC)概念,指语言模型在将自然语言问题转为可执行程序时,未识别问题存在的多种计算解释便默默采用假设,导致结果出错。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型越来越多地被用于将关于结构化数据的自然语言问题转换为可执行程序。一个根本性挑战在于识别一个问题何时允许多种计算解释,并确定解决这些解释所需做出的决策。我们研究语言模型是在生成代码之前就识别出这些未解决的决策,还是默默采用可能导致错误结果的假设。我们将后一种行为称为未充分指定的决策补全(Underspecified Decision Completion,UDC)。为了区分 UDC 的不同成因,我们引入了基于证据的代码生成(Grounded Code Generation,GCG),这是一种诊断协议,将未解决决策的识别、利用证据对其加以解决,以及将其转换为可执行代码这三个环节分开。通过分别考察每个阶段,我们可以确定导致错误结果的决策最初是在哪里被遗漏或处理不当的。我们在 BIRD-Pandas 上使用十二个模型对该框架进行了评估。结果表明,回答澄清问题能够持续提升执行准确率,但仍存在大量错误。我们的发现表明,主要困难不在于回答澄清问题,而在于首先识别出需要提出哪些问题。
主题: 人工智能(cs.AI);软件工程(cs.SE)
引用为: arXiv:2611.23864 [cs.AI]
  (或 arXiv:2611.23864v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23864

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hangle Hu [查看邮箱]
[v1] 2026年11月18日星期三 05:13:13 UTC(632 KB)

来源:arXiv cs.AI · arxiv.org