arXiv cs.AI· Jerzy Kami\'nski, Ilya Galyukshev, Artem Kuznetsov, Danil Fedorov, Kirill Redko, Sergey Chuprin, Aidar Shumbalov, Stanislav Chumakov, Anna Kalyuzhnaya·· 10 天前AI 评分22
大语言模型何时不该回答：潜在欠定信号的跨域与多轮泛化研究
Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals
AI 导读
研究构建了含 423 段对话、1,661 个标注轮次状态的多轮基准，用六份数据集和六个开源权重 LLM 测试"不可回答性"探针的迁移能力。探针在数学缺信息（AUROC 0.77-0.97）和篇章缺信息（SQuAD 2.0、MuSiQue，0.77-0.90）间稳健迁移，但单轮探针零样本无法检测对话何时变得可回答。
正文 · AI 翻译
摘要：大型语言模型经常回答那些无法根据所给信息回答的问题，并且在对话中，它们会在信息尚未充分表达之前就作答。不可回答性可以从隐藏状态中线性解码出来，但尚不清楚它的哪些形式共享同一表示，以及该信号在对话中是否有用。我们贡献了一个按轮次标注的多轮基准（423 段对话，1,661 个标注的轮次状态）以及一个带有模拟用户的评估框架，该模拟用户会回答澄清性问题，并用它们结合六个数据集和六个开放权重 LLM 来测试不可回答性探针能走多远。探针在共享同一不可回答性基础的各数据集之间能够稳健迁移：数学中的缺失信息（AUROC 0.77-0.97）以及段落中的缺失信息（SQuAD 2.0<->MuSiQue，0.77-0.90）。针对认知性“已知的未知”的探针迁移到数学上效果很差，但这种区分在词汇控制下会减弱，并随层和坐标系而变化，因此仍未得到解决。单轮探针在零样本下无法检测对话何时变得可回答；结构内探针能够恢复这一点，但并不优于词袋分类器。对校准后的探针加一个门控，无需微调模型，其在信息不足轮次上的触发精确度远高于随机水平，并且其最终任务成功率与给定真实标签的门控相差在 0.08 以内。然而在四个模型上，它并不能可靠地胜过普通生成或提示式整合。剩余的差距主要在于模型如何使用澄清信息，而不在于检测。
| Comments: | 15 页，3 幅图，10 张表。审稿中 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.08413 [cs.CL] |
| （或 arXiv:2610.08413v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08413 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Jerzy Kamiński [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 14:18:13 UTC（435 KB）
来源：arXiv cs.AI · arxiv.org