HaluCheck：评估 LLM 能否可靠检测文本与智能体轨迹中的多维幻觉

From Twisted Facts to Rogue Agents: Can LLMs Reliably Detect Multi-Dimensional Hallucinations?

AI 导读

研究者推出双语基准 HaluCheck，含超 42k 条实例，覆盖文本事实幻觉与智能体轨迹忠实性幻觉，并提供检测、定位、纠正的多级细粒度标注。对 14 个 LLM 的实验显示，模型仅具备样本级基础检测能力，在细粒度定位、纠正和智能体幻觉检测上表现不佳。思维链、网页搜索与监督微调各带来部分改善，但均未彻底解决问题。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）被广泛用于信息获取、内容生产和基于智能体的任务执行，但其输出仍然容易受到细微、高风险幻觉的影响。为了系统地评估并推进生成后幻觉检测，我们推出了 HaluCheck，这是一个大规模双语基准，包含超过 42k 个实例，涵盖文本中的事实性幻觉和智能体轨迹中的忠实性幻觉。HaluCheck 具有细粒度、多层次的标注，用于检测、定位和纠正，覆盖不同任务和扰动程度。对十四个 LLM 的实验表明，虽然模型表现出基本的样本级检测能力，但它们在细粒度定位、纠正和智能体幻觉检测方面仍有困难。进一步分析表明，思考、网络搜索和有监督微调各自提供了部分改进，但都无法完全解决问题。因此，HaluCheck 为在文本和智能体场景中对 LLM 可靠性进行基准测试和诊断提供了坚实的基础。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2611.08231 [cs.CL]
	（或 arXiv:2611.08231v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2611.08231 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Hanyu Qiu [查看邮箱]
[v1] 2026年11月5日星期四 16:15:18 UTC（2,087 KB）

来源：arXiv cs.CL · arxiv.org