研究：用户向 LLM 提问的数字安全与隐私问题及模型回答质量

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）被广泛用于满足用户的信息需求：用户向 LLM 询问天气、提出教育性问题，并就法律事务向其咨询。一个尤其缺乏研究的领域是数字安全与隐私（S&P），用户可能会就如何保护其在线账户或保护其计算机免受网络攻击向 LLM 寻求帮助。据我们所知，此前尚无研究收集或分析用户向 LLM 提出的 S&P 问题；此前关于 LLM 回复质量的研究依赖于专家撰写的 S&P 误解或常见问题，而非用户查询。我们利用 WildChat——一个在真实环境中收集的包含 320 万条用户与 LLM 对话的数据集——识别出 14,727 条 S&P 提示，并将其归入九个类别，涵盖广泛的 S&P 主题。我们抽取了 450 条 S&P 提示，并进行了主题分析，以刻画用户向 LLM 提出的 S&P 问题。与主题分析分开进行的是，我们整理了 270 条寻求建议的 S&P 提示，即用户寻求推荐、指导或特定 S&P 信息的提示。我们将每条提示向 LLM 提出 10 次，测量了 LLM 回复的质量和一致性。我们发现，商业 LLM 的表现优于开放权重模型（GPT 5.5 在 98% 的提示上给出了“足够好”的回复；Llama 4 为 47%）。然而，在平均获得高质量回复的提示中，商业模型有时会在多次运行中产生语义上不一致的回复（有些相互矛盾，另一些则在具体程度上有所不同），从而存在使用户困惑或误导用户的风险。

提交历史

来自：Xiaoyuan Wu [查看邮箱]
[v1] 2026 年 6 月 16 日星期二 15:37:25 UTC（486 KB）
[v2] 2026 年 11 月 10 日星期二 21:37:52 UTC（502 KB）