arXiv cs.CL· Duc-Vinh Tran·· 14 小时前AI 评分34
对话问答中的答案载荷、持续性与分离的置信信号：不止一种信念
Not One Belief: Answer Payloads, Persistence, and Dissociated Confidence Signals in Conversational Question Answering
AI 导读
研究将对话问答中的用户追问拆分为言语行为（重问、同意、质疑）与答案载荷，发现答案改变几乎只由用户提供答案字符串驱动：在全部保留的全尺寸实验格中，正确答案纠正错误答案的比例至少是重问或同意的四倍。
正文 · AI 翻译
摘要：对话式问答系统应在用户反驳时修正错误，并指明哪些答案可信。我们将每次追问拆分为其言语行为（重新提问、同意或质疑）与其载荷（一个答案字符串，无论正确与否），并在同一批对话记录上测量四种置信度信号：言语化置信度、长度归一化似然、冻结隐状态探针和 P(True)。当用户提供答案字符串时答案会改变，而仅凭言语行为几乎从不改变：在每个保留的全尺寸单元格中，正确答案转化的错误答案数量至少是重新提问或同意的四倍。四种信号彼此不一致。在 Qwen2.5-7B 上，冻结探针随答案持续性上升，而非随真实性上升；这一点在留出问题上成立，并以 Llama-3-8B（清洗后的答案）作为支持，但在其他四个模型上不成立。在 81 个经一次重新提问后仍存活的 Qwen2.5-7B 错误中，重新提问、新建对话或弃权修复几乎无效，而金标准答案可修复 75-95%。在两项预注册重复实验中，所有不含答案字符串的修复率均低于 0.15；一项更大规模的事后重跑排除了 0.15，但空诱导除外。使用 BM25 TriviaQA 证据时，包含答案的句子可修复 67-76% 的持续性错误，而不包含答案的句子至多修复 12%。端到端的包含门控在 TriviaQA 上减少了危害，但一个不知道金标准答案的可部署门控只能修复少量错误。
| 评论： | 25 页 + 补充 PDF。预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35694 [cs.CL] |
| （或 arXiv:2610.35694v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.35694 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vinh Tran Duc [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 16:23:15 UTC（60 KB）
来源：arXiv cs.CL · arxiv.org