arXiv cs.AI· Heimo M\"uller, Dominik Steiger, Markus Plass, Andreas Holzinger·· 13 小时前AI 评分29
研究者提出 System Hallucination Scale（SHS），从用户视角评估大语言模型可靠性
The System Hallucination Scale (SHS): A Human-Centered Instrument for Assessing Perceived Reliability of Large Language Models
AI 导读
研究者提出 System Hallucination Scale（SHS），一个仿照 SUS 与 SCS 设计的轻量工具，用 10 个 Likert 量表题从事实准确性、来源可靠性、逻辑连贯性、呈现欺骗性和对用户引导的响应性五个维度衡量用户感知的 LLM 可靠性，并给出方向性得分与一致性诊断。
正文 · AI 翻译
摘要：大型语言模型经常产生与事实不符或具有误导性的输出，然而传统的自动化基准测试忽视了用户在交互过程中对可靠性的感知。我们提出了系统幻觉量表（SHS），这是一种轻量级工具，参照著名的系统可用性量表（SUS）和系统因果性量表（SCS）建模。SHS 通过十个平衡的 Likert 量表条目，从五个维度衡量感知可靠性：事实准确性、来源可靠性、逻辑连贯性、呈现的欺骗性以及对用户引导的响应性，并提供方向性得分和一致性诊断。在一项有 193 名参与者（由 47 名受训实验者完成 386 次评估）的监督验证研究中，SHS 表现出很强的内部一致性和高清晰度，平均完成时间为 4.2 分钟。参与者对来源可验证性和呈现欺骗性的评分低于事实准确性，表明感知到的脆弱性主要在于可追溯性和表述框架。作为概念验证，SHS 评估的是人类感知的可靠性而非真实正确性，并提供开源多语言实现和交互式计算器。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.09989 [cs.CL] |
| （或 arXiv:2603.09989v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.09989 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.1080/10447318.2026.2739758
链接到相关资源的 DOI |
提交历史
来自：Heimo Müller [查看电子邮件]
[v1]
2026年2月13日星期五 10:13:09 UTC（400 KB）
[v2]
2026年10月29日星期四 13:02:53 UTC（85 KB）
来源：arXiv cs.AI · arxiv.org