arXiv cs.AI· Ahana Biswas, Yu-Ru Lin·· 11 小时前AI 评分38
真实 LLM 对话中的用户核查行为：归因语言与可查证据的差距
Signals, Evidence, and Context: User Scrutiny in Real-World LLM Conversations
AI 导读
研究分析 ShareChat 与 WildChat 的 489,283 组助手-用户回复对发现，31.9% 的相关回复含宽泛归因表述，但仅 1.33% 给出可查证 URL，说明"声称有依据"与"保留可核查证据"之间存在明显落差。
正文 · AI 翻译
摘要：大型语言模型（LLM）往往给出综合后的答案，却不便用户查看其支撑证据。我们基于 ShareChat 和 WildChat 中 489,283 组助手—用户回复对，研究这些答案的特征如何与用户随后的接受、核查和质疑行为相关。在符合条件的回复中，宽泛的归因表述出现在 31.9% 的回复里，而显式 URL 仅占 1.33%，这揭示了“声称有依据”与“保留可核查支撑”之间的差距。归因、不确定性及其他回复线索通常同时伴随核查与质疑；只有不确定性在合并分析中呈现出统计上可区分、且略偏向核查的小幅关联。在“技术帮助”类别中，不确定性相对于质疑更偏向核查；在“寻求信息”类别中，拒答和推理轨迹更偏向质疑。审视行为集中在部分对话中，而当把对话层面的差异与回复顺序分别考察时，其表面上的逐轮持续性会大幅减弱。这些结果表明，要支持验证，需要关注哪些证据可供查看、用户试图解决什么问题，以及交互的历史。
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | H.5.2; H.3.3; I.2.7 |
| 引用为： | arXiv:2611.08232 [cs.AI] |
| （或本版本的 arXiv:2611.08232v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.08232 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ahana Biswas [查看邮箱]
[v1]
2026年11月5日星期四 16:16:08 UTC（316 KB）
来源：arXiv cs.AI · arxiv.org